OTTO is een van de grootste online warenhuizen in Nederland. Met een breed assortiment van meer dan 160.000 producten, waaronder women's, heren- en kindermode, multimedia, huishoudelijke en tuinapparatuur, kunnen klanten bijna alles voor in en om het huis vinden bij OTTO.

Vanwege dit grote assortiment producten, dat altijd up-to-date moet zijn, is het van groot belang dat alle data goed gestructureerd is en dat alle processen soepel verlopen. De informatie die OTTO op zijn website aanbiedt, verandert voortdurend, wat van invloed is op de organische zoekresultaten van zoekmachines. Veranderingen aan de website kunnen daarom grote, maar ook desastreuze gevolgen hebben voor de SEO-scores. Om een concurrentievoordeel te behalen, is het belangrijk om goed toezicht te houden op nauwkeurige productomschrijvingen, voorraden, prijzen, enz. om ervoor te zorgen dat OTTO goed blijft scoren op organische zoekwoorden.

Om de gezondheid van de website in de gaten te houden en SEO-gerelateerde problemen in een vroeg stadium op te sporen, wilde OTTO een intern monitoringsysteem dat informatie over een langere periode bijhield. Met deze vraag wendden ze zich tot Artefact.

De vereisten van ons monitoringsysteem

Nadat we de uitdaging met OTTO hadden besproken, kwamen we met een aantal vereisten voor het monitoringsysteem. Het moet:

  • In staat om wekelijks actuele data op te halen;
  • Beschikbaar op een geautomatiseerd niveau;
  • Kan grote hoeveelheden data verwerken;
  • GDPR-beveiligde en veilige opslag van data;
  • Geef volledige controle over wie, wat, waar en wanneer de data ophaalt en toegang tot de data;
  • Een duidelijk dashboard dat onmiddellijke veranderingen laat zien voor zowel SEO-specialisten als leken;
  • In staat om pushmeldingen te tonen wanneer er een grote fout wordt gedetecteerd.

Als het monitoringsysteem aan al deze vereisten zou voldoen, zou het uiteindelijk in staat zijn om het percentage websitefouten voor SEO-scores te verlagen van 10% naar 5%.

De oplossing: een in-house crawler

We kwamen er al snel achter dat een crawler de beste oplossing voor onze vraag zou zijn. Een crawler is een algoritme dat geautomatiseerd onderzoek doet (d.w.z. crawlt) naar de technische gezondheid van de website. De resultaten van de crawls worden gepresenteerd in een overzichtelijk dashboard dat gebruikt kan worden als strategisch instrument om technische aspecten en de inhoud van de website te bewaken en te verbeteren. Hoewel OTTO al gebruik maakte van een crawler, voldeed deze niet aan al onze eisen. Daarom besloten we om onze eigen crawler te bouwen, volledig in eigendom van OTTO, die ons voorziet van up-to-date inzichten om de SEO-scores te helpen verbeteren. Deze crawler moest in kaart brengen waar websitefouten (4XX- en 5XX-statuscodes) op de website plaatsvonden, zodat deze snel konden worden opgespoord en afgehandeld.

Het is belangrijk om snel op de hoogte te worden gebracht van fouten om de crawlbaarheid van de website te optimaliseren. Wekelijkse geautomatiseerde controles door de crawler helpen bij het identificeren en corrigeren van fouten zoals dode links en ontbrekende pagina's, waarbij automatisering het belangrijkste onderdeel is. Geautomatiseerde tools en scripts maken het mogelijk om problemen snel op te lossen, wat handmatig niet mogelijk is. Daarnaast bespaart het OTTO tijd en kosten.

Implementatiestappen

We hebben verschillende stappen ondernomen om de crawler te bouwen, waarvan sommige erg nuttig waren, en andere - niet zo veel. We zullen de belangrijkste eruit lichten:

  • De eerste stap was het behalen van de ‘Google Cloud Certified Cloud Digital Leader’-certificering van Google voor het hele SEO-team.

  • Na het behalen van de certificering doken we in Google Cloud en testten we verschillende serverconfiguraties (veel opslag + minder RAM, of minder opslag + veel RAM) en interfaces (GUI, headless) om de efficiëntie te optimaliseren.

  • Toen de eerste proof-of-work klaar was, begonnen we met het testen van de BigQuery verbinding om het dashboard in LookerStudio te maken. De eerste test was succesvol, maar moest worden verbeterd en de schaalbaarheid moest worden vergroot. Samen met onze Data Engineering en Data Analytics teams, bouwden we een proof-of-concept om de haalbaarheid van het bouwen van onze eigen crawler te controleren. De belangrijkste factoren hierbij waren de schaalbaarheid en precisie van de data.

  • Vervolgens voegden we een categoriefilter en extra velden toe aan de data om overzichten te genereren die gemakkelijk te begrijpen en te downloaden waren, zowel voor SEO-specialisten als voor leken.

  • Tot slot bouwden we een duidelijk dashboard op basis van de Screaming Frog sjabloon.

CTR en websitefouten verbeteren in enkele minuten

De crawler is net gelanceerd op OTTO's website en begint data te verzamelen. Hoewel de crawler nog niet zo lang operationeel is, hebben we al wat voorlopige resultaten om te delen.

Behaalde resultaten

  • Detectie van ongeveer 130.000 verkeerde/vermiste/te korte of lange metatitels en beschrijvingen, wat leidt tot een verbeterde CTR na het aanpakken van deze problemen;
  • 50% afname in 4XX pagina's;
  • Het percentage 404 URL's is gedaald van 6,6% naar 3%;
  • Het aantal no-index URL's met een diepte van ≥6 is verlaagd van 6200 naar 0.

Verwachte resultaten

  • Verbeteringen in sitemap;
  • Verminder het aantal concurrerende URL's door middel van canonieke tags en interne links;
  • Verminder het aantal geïndexeerde URL's dat wordt gecanoniseerd;
  • Verbeter de interne linkstructuur;
  • Optimaliseer headers wat betreft lengte en voorkom dubbele/veelvoudige koppen op dezelfde pagina;
  • Pagespeed optimalisaties;
  • Wees pagina optimalisaties.

Aan alle voorwaarden die aan de crawler gesteld waren, is voldaan. De grootste voordelen van deze crawler zijn dat hij volledig eigendom is van OTTO en dat de data niet meer handmatig in batches opgehaald hoeft te worden, wat veel tijd bespaart. Daarnaast hebben we volledige controle over wat de crawler doet, wie er toegang toe heeft en waar de data wordt opgeslagen op een GDPR-conforme manier.