OTTO est l'un des plus grands magasins en ligne des Pays-Bas. Avec une large gamme de plus de 160 000 produits, dont women's, men's, and children's fashion, multimedia, home, household, and garden appliances, les clients peuvent trouver presque tout pour l'intérieur et l'extérieur de leur maison chez OTTO. OTTO.

En raison de ce vaste assortiment de produits, qui doit être actualisé en permanence, il est très important que tous les data soient bien structurés et que tous les processus se déroulent sans heurts. Les informations fournies par OTTO sur son site web sont en constante évolution, ce qui affecte les résultats organiques des moteurs de recherche. Les modifications apportées au site web peuvent donc avoir des conséquences importantes, mais aussi désastreuses, sur les scores de référencement. Pour obtenir un avantage concurrentiel, il est important de bien superviser l'exactitude des descriptions de produits, des stocks, des prix, etc., afin de s'assurer qu'OTTO continue d'obtenir de bons résultats sur les mots-clés de la recherche organique.

Afin de suivre l'état de santé du site web et de détecter les problèmes liés au référencement à un stade précoce, OTTO souhaitait un système de suivi interne qui conserverait les informations sur une plus longue période de temps. Pour répondre à cette question, l'entreprise s'est tournée vers Artefact.

Les conditions préalables à notre système de surveillance

Après avoir discuté du défi avec OTTO, nous avons défini plusieurs exigences pour le système de surveillance. Il doit être

  • Capable de récupérer les data mises à jour sur une base hebdomadaire ;
  • Disponible à un niveau automatisé ;
  • Capable de traiter de grandes quantités de data ;
  • Stockage sécurisé et conforme au GDPR de data ;
  • Contrôlez totalement qui, quoi, où et quand le data est récupéré et l'accès au data ;
  • Un tableau de bord clair qui montre les changements immédiats pour les spécialistes du référencement comme pour les profanes ;
  • Possibilité d'afficher des notifications push lorsqu'une erreur importante est détectée.

Si le système de contrôle répondait à toutes ces exigences, il serait finalement en mesure de réduire le pourcentage d'erreurs de site web pour les scores SEO de 10% à 5%.

La solution : un crawler interne

Nous avons rapidement constaté qu'un crawler était la meilleure solution pour répondre à notre demande. Un crawler est un algorithme qui effectue des études automatisées (c'est-à-dire des crawls) sur la santé technique du site web. Les résultats des recherches sont présentés dans un tableau de bord clair qui peut être utilisé comme un instrument stratégique pour surveiller et améliorer les aspects techniques, ainsi que le contenu du site web. Même si OTTO utilisait déjà un crawler, celui-ci ne répondait pas à toutes nos exigences. Nous avons donc décidé de construire notre propre crawler, en pleine propriété de l'OTTO, qui nous fournit des informations actualisées pour nous aider à améliorer les scores de référencement. Ce crawler devait cartographier les erreurs de site web (codes de statut 4XX et 5XX) sur le site web, afin de les tracer et de les traiter rapidement.

Il est important d'être informé rapidement des erreurs afin d'optimiser l'indexation du site web. Les audits hebdomadaires automatisés du robot d'exploration permettent d'identifier et de corriger les erreurs telles que les liens morts et les pages manquantes, l'automatisation étant l'élément le plus important. Les outils et les scripts automatisés permettent de résoudre rapidement des problèmes qui ne peuvent pas être résolus manuellement. En outre, cela permet à OTTO d'économiser du temps et de l'argent.

Les étapes de la mise en œuvre

Nous avons pris plusieurs mesures pour construire le crawler, dont certaines ont été très utiles, d'autres moins. Nous allons mettre l'accent sur les plus importantes :

  • La première étape a consisté à obtenir la certification ‘Google Cloud Certified Cloud Digital Leader’ de Google pour l'ensemble de l'équipe de référencement.

  • Après avoir obtenu la certification, nous avons plongé dans Google Cloud et testé différentes configurations de serveurs (beaucoup de stockage + moins de RAM, ou moins de stockage + beaucoup de RAM) et d'interfaces (GUI, headless) pour optimiser l'efficacité.

  • Une fois le premier proof-of-work terminé, nous avons commencé à tester la connexion BigQuery pour créer le tableau de bord dans LookerStudio. Le premier test s'est avéré concluant, mais il a nécessité des améliorations au niveau de l'évolutivité. Avec nos équipes Data Engineering et Data Analytics, nous avons construit une preuve de concept pour vérifier la faisabilité de la construction de notre propre crawler. Les facteurs les plus importants étaient l'évolutivité et la précision du data.

  • Ensuite, nous avons ajouté un filtre de catégorie et des champs supplémentaires au data afin de générer des aperçus faciles à comprendre et à télécharger, tant pour les spécialistes du référencement que pour les profanes.

  • Enfin, nous avons élaboré un tableau de bord clair basé sur le modèle de Screaming Frog.

Améliorer le CTR et les erreurs de site web en quelques minutes

Le crawler vient d'être lancé sur le site web d'OTTO et commence à collecter data. Bien que le crawler ne soit pas opérationnel depuis longtemps, nous avons quelques résultats préliminaires à partager.

Résultats obtenus

  • Détection d'environ 130 000 méta titres et descriptions erronés/manquants/trop courts ou trop longs, ce qui permet d'améliorer le CTR après avoir résolu ces problèmes ;
  • 50% diminue en 4XX pages ;
  • Le pourcentage d'URL 404 est passé de 6,6% à 3% ;
  • Le nombre d'URLs non indexés avec une profondeur ≥6 a été réduit de 6200 à 0.

Résultats attendus

  • Amélioration du plan du site ;
  • Diminuez le nombre d'URL concurrentes au moyen de balises canoniques et de liens internes ;
  • Diminuer le nombre d'URL indexées qui sont canonisées ;
  • Améliorez la structure des liens internes ;
  • Optimisez les en-têtes en termes de longueur et évitez les doublons / multiples sur la même page ;
  • Optimisation de la vitesse des pages ;
  • Optimisation des pages orphelines.

Les conditions préalables fixées pour le crawler ont toutes été remplies. Les principaux avantages de ce crawler sont qu'il appartient entièrement à OTTO et que le data n'a plus besoin d'être récupéré manuellement par lots, ce qui permet de gagner beaucoup de temps. En outre, nous avons un contrôle total sur ce que fait le crawler, sur les personnes qui y ont accès et sur l'endroit où le data est stocké, conformément au GDPR.