{"id":96434,"date":"2023-01-14T09:34:11","date_gmt":"2023-01-14T09:34:11","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=cases&p=96434"},"modified":"2024-09-20T17:39:26","modified_gmt":"2024-09-20T16:39:26","slug":"otto-s-cloud-crawling-setup","status":"publish","type":"cases","link":"https:\/\/www.artefact.com\/fr\/cases\/otto-s-cloud-crawling-setup\/","title":{"rendered":"OTTO <\/span>\u2018Le moteur de recherche sur mesure du site Web de la Commission europ\u00e9enne permet d'optimiser les r\u00e9sultats en mati\u00e8re d'optimisation des moteurs de recherche (SEO)."},"content":{"rendered":"

OTTO est l'un des plus grands magasins en ligne des Pays-Bas. Avec une large gamme de plus de 160 000 produits, dont women's, men's, and children's fashion, multimedia, home, household, and garden appliances, les clients peuvent trouver presque tout pour l'int\u00e9rieur et l'ext\u00e9rieur de leur maison chez OTTO. OTTO<\/a>.<\/p>\n

En raison de ce vaste assortiment de produits, qui doit \u00eatre actualis\u00e9 en permanence, il est tr\u00e8s important que tous les data soient bien structur\u00e9s et que tous les processus se d\u00e9roulent sans heurts. Les informations fournies par OTTO sur son site web sont en constante \u00e9volution, ce qui affecte les r\u00e9sultats organiques des moteurs de recherche. Les modifications apport\u00e9es au site web peuvent donc avoir des cons\u00e9quences importantes, mais aussi d\u00e9sastreuses, sur les scores de r\u00e9f\u00e9rencement. Pour obtenir un avantage concurrentiel, il est important de bien superviser l'exactitude des descriptions de produits, des stocks, des prix, etc., afin de s'assurer qu'OTTO continue d'obtenir de bons r\u00e9sultats sur les mots-cl\u00e9s de la recherche organique.<\/p>\n

Afin de suivre l'\u00e9tat de sant\u00e9 du site web et de d\u00e9tecter les probl\u00e8mes li\u00e9s au r\u00e9f\u00e9rencement \u00e0 un stade pr\u00e9coce, OTTO souhaitait un syst\u00e8me de suivi interne qui conserverait les informations sur une plus longue p\u00e9riode de temps. Pour r\u00e9pondre \u00e0 cette question, l'entreprise s'est tourn\u00e9e vers Artefact.<\/p>\n<\/div>

Les conditions pr\u00e9alables \u00e0 notre syst\u00e8me de surveillance<\/h2><\/div>

Apr\u00e8s avoir discut\u00e9 du d\u00e9fi avec OTTO, nous avons d\u00e9fini plusieurs exigences pour le syst\u00e8me de surveillance. Il doit \u00eatre<\/p>\n

    \n
  • Capable de r\u00e9cup\u00e9rer les data mises \u00e0 jour sur une base hebdomadaire ;<\/li>\n
  • Disponible \u00e0 un niveau automatis\u00e9 ;<\/li>\n
  • Capable de traiter de grandes quantit\u00e9s de data ;<\/li>\n
  • Stockage s\u00e9curis\u00e9 et conforme au GDPR de data ;<\/li>\n
  • Contr\u00f4lez totalement qui, quoi, o\u00f9 et quand le data est r\u00e9cup\u00e9r\u00e9 et l'acc\u00e8s au data ;<\/li>\n
  • Un tableau de bord clair qui montre les changements imm\u00e9diats pour les sp\u00e9cialistes du r\u00e9f\u00e9rencement comme pour les profanes ;<\/li>\n
  • Possibilit\u00e9 d'afficher des notifications push lorsqu'une erreur importante est d\u00e9tect\u00e9e.<\/li>\n<\/ul>\n

    Si le syst\u00e8me de contr\u00f4le r\u00e9pondait \u00e0 toutes ces exigences, il serait finalement en mesure de r\u00e9duire le pourcentage d'erreurs de site web pour les scores SEO de 10% \u00e0 5%.<\/p>\n<\/div>

    La solution : un crawler interne<\/h2><\/div>

    Nous avons rapidement constat\u00e9 qu'un crawler \u00e9tait la meilleure solution pour r\u00e9pondre \u00e0 notre demande. Un crawler est un algorithme qui effectue des \u00e9tudes automatis\u00e9es (c'est-\u00e0-dire des crawls) sur la sant\u00e9 technique du site web. Les r\u00e9sultats des recherches sont pr\u00e9sent\u00e9s dans un tableau de bord clair qui peut \u00eatre utilis\u00e9 comme un instrument strat\u00e9gique pour surveiller et am\u00e9liorer les aspects techniques, ainsi que le contenu du site web. M\u00eame si OTTO utilisait d\u00e9j\u00e0 un crawler, celui-ci ne r\u00e9pondait pas \u00e0 toutes nos exigences. Nous avons donc d\u00e9cid\u00e9 de construire notre propre crawler, en pleine propri\u00e9t\u00e9 de l'OTTO, qui nous fournit des informations actualis\u00e9es pour nous aider \u00e0 am\u00e9liorer les scores de r\u00e9f\u00e9rencement. Ce crawler devait cartographier les erreurs de site web (codes de statut 4XX et 5XX) sur le site web, afin de les tracer et de les traiter rapidement.<\/p>\n

    Il est important d'\u00eatre inform\u00e9 rapidement des erreurs afin d'optimiser l'indexation du site web. Les audits hebdomadaires automatis\u00e9s du robot d'exploration permettent d'identifier et de corriger les erreurs telles que les liens morts et les pages manquantes, l'automatisation \u00e9tant l'\u00e9l\u00e9ment le plus important. Les outils et les scripts automatis\u00e9s permettent de r\u00e9soudre rapidement des probl\u00e8mes qui ne peuvent pas \u00eatre r\u00e9solus manuellement. En outre, cela permet \u00e0 OTTO d'\u00e9conomiser du temps et de l'argent.<\/p>\n<\/div>

    Les \u00e9tapes de la mise en \u0153uvre<\/h2><\/div>

    Nous avons pris plusieurs mesures pour construire le crawler, dont certaines ont \u00e9t\u00e9 tr\u00e8s utiles, d'autres moins. Nous allons mettre l'accent sur les plus importantes :<\/p>\n<\/div>

    • <\/i><\/span>
      \n

      La premi\u00e8re \u00e9tape a consist\u00e9 \u00e0 obtenir la certification \u2018Google Cloud Certified Cloud Digital Leader\u2019 de Google pour l'ensemble de l'\u00e9quipe de r\u00e9f\u00e9rencement.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Apr\u00e8s avoir obtenu la certification, nous avons plong\u00e9 dans Google Cloud et test\u00e9 diff\u00e9rentes configurations de serveurs (beaucoup de stockage + moins de RAM, ou moins de stockage + beaucoup de RAM) et d'interfaces (GUI, headless) pour optimiser l'efficacit\u00e9.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Une fois le premier proof-of-work termin\u00e9, nous avons commenc\u00e9 \u00e0 tester la connexion BigQuery pour cr\u00e9er le tableau de bord dans LookerStudio. Le premier test s'est av\u00e9r\u00e9 concluant, mais il a n\u00e9cessit\u00e9 des am\u00e9liorations au niveau de l'\u00e9volutivit\u00e9. Avec nos \u00e9quipes Data Engineering et Data Analytics, nous avons construit une preuve de concept pour v\u00e9rifier la faisabilit\u00e9 de la construction de notre propre crawler. Les facteurs les plus importants \u00e9taient l'\u00e9volutivit\u00e9 et la pr\u00e9cision du data.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Ensuite, nous avons ajout\u00e9 un filtre de cat\u00e9gorie et des champs suppl\u00e9mentaires au data afin de g\u00e9n\u00e9rer des aper\u00e7us faciles \u00e0 comprendre et \u00e0 t\u00e9l\u00e9charger, tant pour les sp\u00e9cialistes du r\u00e9f\u00e9rencement que pour les profanes.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Enfin, nous avons \u00e9labor\u00e9 un tableau de bord clair bas\u00e9 sur le mod\u00e8le de Screaming Frog.<\/p>\n<\/div><\/li><\/ul>

      Am\u00e9liorer le CTR et les erreurs de site web en quelques minutes<\/h2><\/div>

      Le crawler vient d'\u00eatre lanc\u00e9 sur le site web d'OTTO et commence \u00e0 collecter data. Bien que le crawler ne soit pas op\u00e9rationnel depuis longtemps, nous avons quelques r\u00e9sultats pr\u00e9liminaires \u00e0 partager.<\/p>\n<\/div>

      R\u00e9sultats obtenus<\/h3><\/div>
        \n
      • D\u00e9tection d'environ 130 000 m\u00e9ta titres et descriptions erron\u00e9s\/manquants\/trop courts ou trop longs, ce qui permet d'am\u00e9liorer le CTR apr\u00e8s avoir r\u00e9solu ces probl\u00e8mes ;<\/li>\n
      • 50% diminue en 4XX pages ;<\/li>\n
      • Le pourcentage d'URL 404 est pass\u00e9 de 6,6% \u00e0 3% ;<\/li>\n
      • Le nombre d'URLs non index\u00e9s avec une profondeur \u22656 a \u00e9t\u00e9 r\u00e9duit de 6200 \u00e0 0.<\/li>\n<\/ul>\n<\/div>

        R\u00e9sultats attendus<\/h3><\/div>
          \n
        • Am\u00e9lioration du plan du site ;<\/li>\n
        • Diminuez le nombre d'URL concurrentes au moyen de balises canoniques et de liens internes ;<\/li>\n
        • Diminuer le nombre d'URL index\u00e9es qui sont canonis\u00e9es ;<\/li>\n
        • Am\u00e9liorez la structure des liens internes ;<\/li>\n
        • Optimisez les en-t\u00eates en termes de longueur et \u00e9vitez les doublons \/ multiples sur la m\u00eame page ;<\/li>\n
        • Optimisation de la vitesse des pages ;<\/li>\n
        • Optimisation des pages orphelines.<\/li>\n<\/ul>\n<\/div>

          Les conditions pr\u00e9alables fix\u00e9es pour le crawler ont toutes \u00e9t\u00e9 remplies. Les principaux avantages de ce crawler sont qu'il appartient enti\u00e8rement \u00e0 OTTO et que le data n'a plus besoin d'\u00eatre r\u00e9cup\u00e9r\u00e9 manuellement par lots, ce qui permet de gagner beaucoup de temps. En outre, nous avons un contr\u00f4le total sur ce que fait le crawler, sur les personnes qui y ont acc\u00e8s et sur l'endroit o\u00f9 le data est stock\u00e9, conform\u00e9ment au GDPR.<\/p>\n<\/div><\/div><\/div><\/div><\/article>","protected":false},"excerpt":{"rendered":"","protected":false},"featured_media":96435,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"categories":[91],"class_list":["post-96434","cases","type-cases","status-publish","has-post-thumbnail","hentry","category-retail"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/cases\/96434","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/cases"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/cases"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/96435"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=96434"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/categories?post=96434"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}