{"id":96434,"date":"2023-01-14T09:34:11","date_gmt":"2023-01-14T09:34:11","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=cases&p=96434"},"modified":"2024-09-20T17:39:26","modified_gmt":"2024-09-20T16:39:26","slug":"otto-s-cloud-crawling-setup","status":"publish","type":"cases","link":"https:\/\/www.artefact.com\/de\/cases\/otto-s-cloud-crawling-setup\/","title":{"rendered":"OTTO <\/span>\u2018den ma\u00dfgeschneiderten Crawler zur Optimierung der SEO-Werte"},"content":{"rendered":"

OTTO ist eines der gr\u00f6\u00dften Online-Kaufh\u00e4user in den Niederlanden. Mit einem breiten Sortiment von mehr als 160.000 Produkten, darunter women-, Herren- und Kindermode, Multimedia, Heim-, Haushalts- und Gartenger\u00e4te, finden Kunden bei OTTO fast alles f\u00fcr das Haus und den Haushalt. OTTO<\/a>.<\/p>\n

Aufgrund dieses gro\u00dfen Produktsortiments, das immer auf dem neuesten Stand sein muss, ist es von gro\u00dfer Bedeutung, dass alle data gut strukturiert sind und dass alle Prozesse reibungslos ablaufen. Die Informationen, die OTTO auf seiner Website bereitstellt, \u00e4ndern sich st\u00e4ndig, was sich auf die organischen Suchergebnisse der Suchmaschinen auswirkt. \u00c4nderungen an der Website k\u00f6nnen daher gro\u00dfe, aber auch katastrophale Folgen f\u00fcr die SEO-Ergebnisse haben. Um sich einen Wettbewerbsvorteil zu verschaffen, ist es wichtig, dass genaue Produktbeschreibungen, Lagerbest\u00e4nde, Preise usw. gut \u00fcberwacht werden, damit OTTO bei organischen Suchbegriffen weiterhin gut abschneidet.<\/p>\n

Um den Zustand der Website im Auge zu behalten und SEO-bezogene Probleme fr\u00fchzeitig zu erkennen, wollte OTTO ein internes \u00dcberwachungssystem, das die Informationen \u00fcber einen l\u00e4ngeren Zeitraum verfolgt. Mit dieser Frage wandte man sich an Artefact.<\/p>\n<\/div>

Die Voraussetzungen f\u00fcr unser \u00dcberwachungssystem<\/h2><\/div>

Nachdem wir die Herausforderung mit OTTO besprochen hatten, kamen wir auf mehrere Anforderungen an das \u00dcberwachungssystem. Es muss sein:<\/p>\n

    \n
  • Sie sind in der Lage, w\u00f6chentlich aktuelle data abzurufen;<\/li>\n
  • Verf\u00fcgbar auf einer automatisierten Ebene;<\/li>\n
  • Kann gro\u00dfe Mengen von data verarbeiten;<\/li>\n
  • GDPR-konforme und sichere Speicherung von data;<\/li>\n
  • Geben Sie die volle Kontrolle dar\u00fcber, wer, was, wo und wann das data abgerufen wird und wie der Zugriff auf das data erfolgt;<\/li>\n
  • Ein \u00fcbersichtliches Dashboard, das sowohl f\u00fcr SEO-Spezialisten als auch f\u00fcr Laien sofortige \u00c4nderungen anzeigt;<\/li>\n
  • Sie k\u00f6nnen Push-Benachrichtigungen anzeigen, wenn ein gro\u00dfer Fehler entdeckt wird.<\/li>\n<\/ul>\n

    Wenn das \u00dcberwachungssystem all diese Anforderungen erf\u00fcllen w\u00fcrde, w\u00e4re es schlie\u00dflich in der Lage, den Prozentsatz der Website-Fehler f\u00fcr SEO-Bewertungen von 10% auf 5% zu reduzieren.<\/p>\n<\/div>

    Die L\u00f6sung: ein eigener Crawler<\/h2><\/div>

    Wir fanden schnell heraus, dass ein Crawler die beste L\u00f6sung f\u00fcr unseren Bedarf ist. Ein Crawler ist ein Algorithmus, der automatisierte Studien (d.h. Crawls) \u00fcber den technischen Zustand der Website durchf\u00fchrt. Die Ergebnisse der Crawls werden in einem \u00fcbersichtlichen Dashboard dargestellt, das als strategisches Instrument zur \u00dcberwachung und Verbesserung der technischen Aspekte sowie der Inhalte der Website genutzt werden kann. Obwohl OTTO bereits einen Crawler einsetzte, erf\u00fcllte dieser bestehende Crawler nicht alle unsere Anforderungen. Daher beschlossen wir, einen eigenen Crawler zu entwickeln, der OTTO vollst\u00e4ndig geh\u00f6rt und der uns aktuelle Erkenntnisse liefert, um die SEO-Werte zu verbessern. Dieser Crawler musste kartieren, wo auf der Website Fehler (4XX und 5XX Statuscodes) auftraten, um diese schnell aufzusp\u00fcren und zu bearbeiten.<\/p>\n

    Es ist wichtig, dass Sie schnell \u00fcber Fehler informiert werden, um die Crawlability der Website zu optimieren. W\u00f6chentliche automatisierte Audits durch den Crawler helfen dabei, Fehler wie tote Links und fehlende Seiten zu identifizieren und zu korrigieren, wobei die Automatisierung der wichtigste Teil ist. Automatisierte Tools und Skripte erm\u00f6glichen eine schnelle Probleml\u00f6sung, die manuell nicht zu realisieren ist. Au\u00dferdem spart OTTO dadurch Zeit und Kosten.<\/p>\n<\/div>

    Schritte zur Umsetzung<\/h2><\/div>

    Wir haben mehrere Schritte unternommen, um den Crawler zu erstellen, von denen einige sehr n\u00fctzlich waren, andere wiederum nicht so sehr. Wir werden die wichtigsten davon hervorheben:<\/p>\n<\/div>

    • <\/i><\/span>
      \n

      Der erste Schritt war die Erlangung der Zertifizierung \u2018Google Cloud Certified Cloud Digital Leader\u2019 von Google f\u00fcr das gesamte SEO-Team.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Nachdem wir die Zertifizierung erhalten hatten, tauchten wir in die Google Cloud ein und testeten verschiedene Serverkonfigurationen (viel Speicher + weniger RAM oder weniger Speicher + viel RAM) und Schnittstellen (GUI, Headless), um die Effizienz zu optimieren.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Als der erste Proof-of-Work abgeschlossen war, begannen wir mit dem Testen der BigQuery-Verbindung zur Erstellung des Dashboards in LookerStudio. Der erste Test war erfolgreich, musste aber in Bezug auf die Skalierbarkeit noch verbessert werden. Gemeinsam mit unseren Teams Data Engineering und Data Analytics erstellten wir ein Proof-of-Concept, um die Machbarkeit der Entwicklung eines eigenen Crawlers zu pr\u00fcfen. Die wichtigsten Faktoren waren dabei die Skalierbarkeit und die Pr\u00e4zision des data.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Als n\u00e4chstes f\u00fcgten wir dem data einen Kategoriefilter und zus\u00e4tzliche Felder hinzu, um \u00dcbersichten zu erstellen, die sowohl f\u00fcr SEO-Spezialisten als auch f\u00fcr Laien leicht zu verstehen und herunterzuladen sind.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Schlie\u00dflich haben wir ein \u00fcbersichtliches Dashboard auf der Grundlage der Screaming Frog-Vorlage erstellt.<\/p>\n<\/div><\/li><\/ul>

      Verbesserung der CTR und der Website-Fehler in Minutenschnelle<\/h2><\/div>

      Der Crawler wurde soeben auf der Website von OTTO gestartet und beginnt, data zu sammeln. Obwohl der Crawler noch nicht lange in Betrieb ist, k\u00f6nnen wir Ihnen schon einige vorl\u00e4ufige Ergebnisse mitteilen.<\/p>\n<\/div>

      Erzielte Ergebnisse<\/h3><\/div>
        \n
      • Erkennung von ca. 130.000 falschen\/fehlenden\/zu kurzen oder langen Meta-Titeln und -Beschreibungen, was zu einer verbesserten CTR f\u00fchrt, nachdem diese Probleme behoben wurden;<\/li>\n
      • 50% verringert sich auf 4XX Seiten;<\/li>\n
      • Der Prozentsatz der 404-URLs ist von 6,6% auf 3% gesunken;<\/li>\n
      • Die Anzahl der nicht indizierten URLs mit einer Tiefe von \u22656 wurde von 6200 auf 0 reduziert.<\/li>\n<\/ul>\n<\/div>

        Erwartete Ergebnisse<\/h3><\/div>
          \n
        • Verbesserungen in der Sitemap;<\/li>\n
        • Verringern Sie die Anzahl konkurrierender URLs mit Hilfe von kanonischen Tags und internen Links;<\/li>\n
        • Verringern Sie die Anzahl der indizierten URLs, die kanonisiert werden;<\/li>\n
        • Verbessern Sie die interne Linkstruktur;<\/li>\n
        • Optimieren Sie die L\u00e4nge der Kopfzeilen und vermeiden Sie doppelte\/mehrere Kopfzeilen auf derselben Seite;<\/li>\n
        • Optimierungen des Pagespeed;<\/li>\n
        • Optimierungen f\u00fcr verwaiste Seiten.<\/li>\n<\/ul>\n<\/div>

          Die Voraussetzungen, die f\u00fcr den Crawler festgelegt wurden, sind alle erf\u00fcllt. Die gr\u00f6\u00dften Vorteile dieses Crawlers sind, dass er vollst\u00e4ndig im Besitz von OTTO ist und dass die data nicht mehr manuell in Stapeln abgerufen werden m\u00fcssen, was eine Menge Zeit spart. Dar\u00fcber hinaus haben wir die volle Kontrolle dar\u00fcber, was der Crawler tut, wer Zugriff darauf hat und wo die data GDPR-konform gespeichert wird.<\/p>\n<\/div><\/div><\/div><\/div><\/article>","protected":false},"excerpt":{"rendered":"","protected":false},"featured_media":96435,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"categories":[91],"class_list":["post-96434","cases","type-cases","status-publish","has-post-thumbnail","hentry","category-retail"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/cases\/96434","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/cases"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/cases"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/96435"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=96434"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/categories?post=96434"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}