OTTO is een van de grootste online warenhuizen van Nederland. Met een breed assortiment van meer dan 160.000 producten, waaronder dames-, heren- en kindermode, multimedia, huishoudelijke en tuinapparatuur, kunnen klanten bij OTTO bijna alles vinden voor in en om het huis.

Vanwege dit grote assortiment, dat altijd up-to-date moet zijn, is het van groot belang dat alle data goed gestructureerd is en dat alle processen soepel verlopen. De informatie die OTTO op haar website aanbiedt verandert voortdurend, wat invloed heeft op de organische zoekresultaten van zoekmachines. Veranderingen op de website kunnen daarom grote, maar ook desastreuze gevolgen hebben voor de SEO-scores. Om een concurrentievoordeel te behalen is het belangrijk om goed toezicht te houden op accurate productomschrijvingen, voorraden, prijzen, etc., zodat OTTO goed blijft scoren op organische zoekwoorden.

Om de gezondheid van de website in de gaten te houden en SEO-gerelateerde problemen in een vroeg stadium te detecteren, wilde OTTO een intern monitoringsysteem dat informatie over een langere periode bijhield. Met deze vraag wendden ze zich tot Artefact.

De voorwaarden van ons monitoringsysteem

Nadat we de uitdaging met OTTO hadden besproken, kwamen we met een aantal eisen voor het monitoringsysteem. Het moet:

  • In staat om wekelijks up-to-date data op te halen;
  • Beschikbaar op geautomatiseerd niveau;
  • Kan grote hoeveelheden data verwerken;
  • GDPR-veilige en veilige opslag van data;
  • Geef volledige controle over wie, wat, waar en wanneer data ophaalt en toegang tot de data;
  • Een duidelijk dashboard dat onmiddellijke veranderingen laat zien voor zowel SEO-specialisten als leken;
  • In staat om pushmeldingen te tonen wanneer er een grote fout is gedetecteerd.

Als het monitoringsysteem aan al deze eisen zou voldoen, zou het uiteindelijk in staat zijn om het percentage websitefouten voor SEO-scores terug te brengen van 10% naar 5%.

De oplossing: een in-house crawler

We kwamen er al snel achter dat een crawler de beste oplossing zou zijn voor onze vraag. Een crawler is een algoritme dat geautomatiseerd onderzoek doet (crawls) naar de technische gezondheid van de website. De resultaten van de crawls worden gepresenteerd in een overzichtelijk dashboard dat kan worden gebruikt als strategisch instrument om technische aspecten en de inhoud van de website te bewaken en te verbeteren. Hoewel OTTO al gebruik maakte van een crawler, voldeed deze niet aan al onze eisen. Daarom besloten we om een eigen crawler te bouwen, volledig in eigendom van OTTO, die ons voorziet van actuele inzichten om de SEO-scores te helpen verbeteren. Deze crawler moest in kaart brengen waar websitefouten (4XX en 5XX statuscodes) op de website plaatsvonden, zodat deze snel konden worden opgespoord en afgehandeld.

Het is belangrijk om snel op de hoogte te zijn van fouten om de crawlbaarheid van de website te optimaliseren. Wekelijkse geautomatiseerde controles door de crawler helpen bij het identificeren en corrigeren van fouten zoals dode links en ontbrekende pagina's, waarbij automatisering het belangrijkste onderdeel is. Geautomatiseerde tools en scripts maken snelle probleemoplossing mogelijk die niet handmatig kan worden gerealiseerd. Daarnaast bespaart het OTTO tijd en kosten.

Stappen voor implementatie

We hebben verschillende stappen ondernomen om de crawler te bouwen, waarvan sommige erg nuttig waren, en andere - niet zo veel. We zullen de belangrijkste eruit lichten:

  • De eerste stap was het behalen van de 'Google Cloud Certified Cloud Digital Leader'-certificering van Google voor het hele SEO-team.

  • Na het behalen van de certificering doken we in Google Cloud en testten we verschillende serverconfiguraties (veel opslag + minder RAM, of minder opslag + veel RAM) en interfaces (GUI, headless) om de efficiëntie te optimaliseren.

  • Toen de eerste proof-of-work klaar was, zijn we begonnen met het testen van de BigQuery verbinding om het dashboard in LookerStudio te maken. De eerste test was succesvol, maar moest worden verbeterd en de schaalbaarheid moest worden vergroot. Samen met onze teams Data Engineering en Data Analytics, bouwden we een proof-of-concept om de haalbaarheid van het bouwen van onze eigen crawler te controleren. De belangrijkste factoren hierbij waren de schaalbaarheid en precisie van de data.

  • Vervolgens hebben we een categoriefilter en extra velden toegevoegd aan de data om overzichten te genereren die gemakkelijk te begrijpen en te downloaden zijn, zowel voor SEO-specialisten als voor leken.

  • Tot slot bouwden we een overzichtelijk dashboard op basis van de Screaming Frog template.

CTR en websitefouten verbeteren in enkele minuten

De crawler is net gelanceerd op OTTO's website en begint data te verzamelen. Hoewel de crawler nog niet zo lang operationeel is, kunnen we al wel wat voorlopige resultaten delen.

Behaalde resultaten

  • Detectie van ongeveer 130.000 verkeerde/vermiste/te korte of lange meta titels en beschrijvingen, wat leidt tot een verbeterde CTR na het aanpakken van deze problemen;
  • 50% afname in 4XX pagina's;
  • Het percentage 404 URL's is gedaald van 6,6% naar 3%;
  • Het aantal no-index URL's met een diepte van ≥6 is verlaagd van 6200 naar 0.

Verwachte resultaten

  • Verbeteringen in sitemap;
  • Verminder het aantal concurrerende URL's door middel van canonieke tags en interne links;
  • Verminder het aantal geïndexeerde URL's dat wordt gecanoniseerd;
  • Verbeter de interne linkstructuur;
  • Optimaliseer headers wat betreft lengte en voorkom dubbele/veelvoudige koppen op dezelfde pagina;
  • Pagespeed-optimalisaties;
  • Wees pagina optimalisaties.

Aan alle voorwaarden die aan de crawler waren gesteld, is voldaan. De grootste voordelen van deze crawler zijn dat hij volledig eigendom is van OTTO en dat de data niet meer handmatig in batches opgehaald hoeft te worden, wat veel tijd bespaart. Daarnaast hebben we volledige controle over wat de crawler doet, wie er toegang toe heeft en waar de data wordt opgeslagen op een GDPR-conforme manier.