OTTO ist eines der größten Online-Kaufhäuser in den Niederlanden. Mit einem breiten Sortiment von mehr als 160.000 Produkten, darunter Damen-, Herren- und Kindermode, Multimedia, Heim-, Haushalts- und Gartengeräte, finden Kunden bei OTTO fast alles für das Haus und den Haushalt.

Aufgrund dieses großen Sortiments, das immer aktuell sein muss, ist es von großer Bedeutung, dass alle Daten gut strukturiert sind und alle Prozesse reibungslos ablaufen. Die Informationen, die OTTO auf seiner Website bereitstellt, ändern sich ständig, was sich auf die organischen Suchergebnisse von Suchmaschinen auswirkt. Änderungen an der Website können daher große, aber auch katastrophale Auswirkungen auf die SEO-Ergebnisse haben. Um sich einen Wettbewerbsvorteil zu verschaffen, ist es wichtig, dass genaue Produktbeschreibungen, Lagerbestände, Preise usw. gut überwacht werden, damit OTTO bei organischen Suchbegriffen weiterhin gut abschneidet.

Um den Zustand der Website im Auge zu behalten und SEO-bezogene Probleme frühzeitig zu erkennen, wollte OTTO ein internes Monitoring-System, das die Informationen über einen längeren Zeitraum hinweg verfolgt. Mit dieser Frage wandte man sich an Artefact.

Die Voraussetzungen für unser Überwachungssystem

Nachdem wir die Herausforderung mit OTTO besprochen hatten, kamen wir auf mehrere Anforderungen an das Überwachungssystem. Diese sind:

  • Sie sind in der Lage, wöchentlich aktuelle Daten abzurufen;
  • Verfügbar auf automatisierter Ebene;
  • Kann große Datenmengen verarbeiten;
  • DSGVO-konforme und sichere Speicherung von Daten;
  • Geben Sie die volle Kontrolle darüber, wer, was, wo und wann Daten abgerufen werden und wie der Zugriff auf die Daten erfolgt;
  • Ein übersichtliches Dashboard, das Änderungen sowohl für SEO-Spezialisten als auch für Laien sofort sichtbar macht;
  • Möglichkeit, Push-Benachrichtigungen anzuzeigen, wenn ein großer Fehler entdeckt wird.

Wenn das Überwachungssystem all diese Anforderungen erfüllen würde, könnte es den Prozentsatz der Website-Fehler für SEO-Bewertungen von 10 % auf 5 % senken.

Die Lösung: ein eigener Crawler

Wir fanden schnell heraus, dass ein Crawler die beste Lösung für unseren Bedarf ist. Ein Crawler ist ein Algorithmus, der automatisierte Studien (d. h. Crawls) über den technischen Zustand der Website durchführt. Die Ergebnisse der Crawls werden in einem übersichtlichen Dashboard dargestellt, das als strategisches Instrument zur Überwachung und Verbesserung der technischen Aspekte sowie der Inhalte der Website genutzt werden kann. Auch wenn OTTO bereits einen Crawler im Einsatz hatte, erfüllte dieser nicht alle unsere Anforderungen. Daher beschlossen wir, einen eigenen Crawler zu entwickeln, der OTTO vollständig gehört und der uns aktuelle Erkenntnisse zur Verbesserung der SEO-Werte liefert. Dieser Crawler sollte aufzeichnen, wo auf der Website Fehler (4XX- und 5XX-Statuscodes) auftraten, um diese schnell aufzuspüren und zu bearbeiten.

Es ist wichtig, schnell auf Fehler aufmerksam gemacht zu werden, um die Crawlability der Website zu optimieren. Wöchentliche automatisierte Audits durch den Crawler helfen, Fehler wie tote Links und fehlende Seiten zu erkennen und zu beheben, wobei die Automatisierung der wichtigste Teil ist. Automatisierte Tools und Skripte ermöglichen eine schnelle Problemlösung, die manuell nicht zu realisieren ist. Außerdem spart OTTO dadurch Zeit und Kosten.

Schritte zur Umsetzung

Wir haben mehrere Schritte unternommen, um den Crawler zu erstellen, von denen einige sehr nützlich waren, andere weniger. Wir werden die wichtigsten davon hervorheben:

  • Der erste Schritt war die Erlangung der Zertifizierung "Google Cloud Certified Cloud Digital Leader" von Google für das gesamte SEO-Team.

  • Nachdem wir die Zertifizierung erhalten hatten, tauchten wir in die Google Cloud ein und testeten verschiedene Serverkonfigurationen (viel Speicher + weniger RAM oder weniger Speicher + viel RAM) und Schnittstellen (GUI, Headless), um die Effizienz zu optimieren.

  • Als der erste Proof-of-Work abgeschlossen war, begannen wir mit dem Testen der BigQuery-Verbindung zur Erstellung des Dashboards in LookerStudio. Der erste Test war erfolgreich, musste aber hinsichtlich der Skalierbarkeit verbessert werden. Gemeinsam mit unseren Teams für Data Engineering und Data Analytics haben wir ein Proof-of-Concept erstellt, um die Machbarkeit eines eigenen Crawlers zu prüfen. Die wichtigsten Faktoren waren dabei die Skalierbarkeit und die Genauigkeit der Daten.

  • Als Nächstes fügten wir einen Kategoriefilter und zusätzliche Felder zu den Daten hinzu, um Übersichten zu erstellen, die sowohl für SEO-Spezialisten als auch für Laien leicht zu verstehen und herunterzuladen sind.

  • Schließlich haben wir ein übersichtliches Dashboard auf der Grundlage der Screaming Frog-Vorlage erstellt.

Verbesserung der CTR und der Website-Fehler in wenigen Minuten

Der Crawler wurde gerade auf der OTTO-Website gestartet und beginnt, Daten zu sammeln. Obwohl der Crawler noch nicht lange in Betrieb ist, können wir bereits einige vorläufige Ergebnisse mitteilen.

Erzielte Ergebnisse

  • Erkennung von ca. 130.000 falschen/fehlenden/zu kurzen oder zu langen Meta-Titeln und -Beschreibungen, was nach Behebung dieser Probleme zu einer verbesserten CTR führt;
  • 50 % Rückgang bei 4XX Seiten;
  • Der Anteil der 404-URLs ist von 6,6 % auf 3 % gesunken;
  • Die Anzahl der nicht indizierten URLs mit einer Tiefe von ≥6 wurde von 6200 auf 0 reduziert.

Erwartete Ergebnisse

  • Verbesserungen in der Sitemap;
  • Verringern Sie die Anzahl der konkurrierenden URLs durch kanonische Tags und interne Links;
  • Verringern Sie die Anzahl der indexierten URLs, die kanonisiert werden;
  • Verbessern Sie die interne Linkstruktur;
  • Optimieren Sie die Länge der Kopfzeilen und vermeiden Sie Duplikate/Mehrfachnennungen auf derselben Seite;
  • Optimierungen der Pagespeed;
  • Optimierungen für verwaiste Seiten.

Die Voraussetzungen, die für den Crawler geschaffen wurden, sind alle erfüllt. Die größten Vorteile dieses Crawlers sind, dass er vollständig im Besitz von OTTO ist und dass die Daten nicht mehr manuell in Stapeln abgerufen werden müssen, was eine Menge Zeit spart. Darüber hinaus haben wir die volle Kontrolle darüber, was der Crawler macht, wer Zugriff darauf hat und wo die Daten GDPR-konform gespeichert werden.