OTTO è uno dei più grandi magazzini online dei Paesi Bassi. Con un'ampia gamma di oltre 160.000 prodotti, tra cui moda femminile, maschile e per bambini, multimedia, elettrodomestici per la casa e il giardino, i clienti possono trovare presso OTTO quasi tutto ciò che serve per la casa e i suoi dintorni.

A causa del grande assortimento di prodotti, che deve essere sempre aggiornato, è di grande importanza che tutti i dati siano ben strutturati e che tutti i processi si svolgano senza intoppi. Le informazioni fornite da OTTO sul suo sito web cambiano continuamente, il che influisce sui risultati organici dei motori di ricerca. Le modifiche al sito web possono quindi avere conseguenze importanti ma anche disastrose per i punteggi SEO. Per ottenere un vantaggio competitivo, è importante avere una buona supervisione delle descrizioni accurate dei prodotti, delle scorte, dei prezzi, ecc. per assicurarsi che OTTO continui a ottenere un buon punteggio nelle parole chiave della ricerca organica.

Per tenere sotto controllo lo stato di salute del sito e individuare tempestivamente i problemi legati alla SEO, OTTO voleva un sistema di monitoraggio interno che tenesse traccia delle informazioni per un periodo di tempo più lungo. Per questo si è rivolta a Artefact.

I prerequisiti del nostro sistema di monitoraggio

Dopo aver discusso la sfida con OTTO, abbiamo individuato diversi requisiti per il sistema di monitoraggio. Deve essere:

  • In grado di recuperare dati aggiornati su base settimanale;
  • Disponibile a livello automatico;
  • In grado di elaborare grandi quantità di dati;
  • Archiviazione dei dati sicura e a prova di GDPR;
  • Offrire il pieno controllo su chi, cosa, dove e quando vengono recuperati i dati e sull'accesso agli stessi;
  • Una dashboard chiara che mostra i cambiamenti immediati per gli specialisti SEO e per i non addetti ai lavori;
  • In grado di mostrare notifiche push quando viene rilevato un errore grave.

Se il sistema di monitoraggio soddisfacesse tutti questi requisiti, sarebbe in grado di ridurre la percentuale di errori del sito web per i punteggi SEO dal 10% al 5%.

La soluzione: un crawler interno

Abbiamo rapidamente scoperto che un crawler sarebbe stata la soluzione migliore per la nostra richiesta. Un crawler è un algoritmo che conduce studi automatizzati (cioè crawl) sullo stato tecnico del sito web. I risultati dei crawl vengono presentati in un chiaro cruscotto che può essere utilizzato come strumento strategico per monitorare e migliorare gli aspetti tecnici e i contenuti del sito. Sebbene OTTO utilizzasse già un crawler, questo non soddisfaceva tutte le nostre esigenze. Abbiamo quindi deciso di costruire un nostro crawler, in piena proprietà di OTTO, che ci fornisse informazioni aggiornate per migliorare i punteggi SEO. Questo crawler doveva mappare gli errori del sito web (codici di stato 4XX e 5XX), per rintracciarli e gestirli rapidamente.

È importante essere informati rapidamente degli errori per ottimizzare la crawlabilità del sito web. Le verifiche automatizzate settimanali da parte del crawler aiutano a identificare e correggere errori come link morti e pagine mancanti, in cui l'automatizzazione è la parte più importante. Gli strumenti e gli script automatizzati consentono di risolvere rapidamente i problemi che non possono essere realizzati manualmente. Inoltre, consentono a OTTO di risparmiare tempo e costi.

Fasi di attuazione

Per costruire il crawler abbiamo compiuto diversi passi, alcuni dei quali sono stati molto utili, altri meno. Evidenzieremo i più importanti:

  • Il primo passo è stato quello di ottenere da Google la certificazione "Google Cloud Certified Cloud Digital Leader" per l'intero team SEO.

  • Dopo aver ottenuto la certificazione, ci siamo tuffati in Google Cloud e abbiamo testato diverse configurazioni di server (molto spazio di archiviazione + meno RAM, o meno spazio di archiviazione + molta RAM) e interfacce (GUI, headless) per ottimizzare l'efficienza.

  • Una volta terminato il primo proof-of-work, abbiamo iniziato a testare la connessione a BigQuery per creare il dashboard in LookerStudio. Il primo test ha avuto successo, ma necessitava di miglioramenti e scalabilità. Insieme ai nostri team di Data Engineering e Data Analytics, abbiamo realizzato un proof-of-concept per verificare la fattibilità della costruzione del nostro crawler. I fattori più importanti erano la scalabilità e la precisione dei dati.

  • Abbiamo poi aggiunto un filtro per categoria e campi supplementari ai dati per generare panoramiche facili da capire e da scaricare, sia per gli specialisti SEO che per i non addetti ai lavori.

  • Infine, abbiamo costruito un cruscotto chiaro basato sul modello di Screaming Frog.

Miglioramento del CTR e degli errori del sito web in pochi minuti

Il crawler è stato appena lanciato sul sito web di OTTO e sta iniziando a raccogliere dati. Anche se il crawler non è operativo da molto tempo, abbiamo alcuni risultati preliminari da condividere.

Risultati ottenuti

  • Rilevamento di circa 130.000 meta titoli e descrizioni errati/mancanti/troppo corti o lunghi, che portano a un miglioramento del CTR dopo aver affrontato questi problemi;
  • Diminuzione del 50% in 4XX pagine;
  • La percentuale di URL 404 è diminuita dal 6,6% al 3%;
  • Il numero di URL senza indice con una profondità ≥6 è stato ridotto da 6200 a 0.

Risultati attesi

  • Miglioramenti alla mappa del sito;
  • Diminuire il numero di URL concorrenti mediante tag canonici e link interni;
  • Diminuire il numero di URL indicizzati che vengono canonizzati;
  • Migliorare la struttura dei link interni;
  • Ottimizzare le intestazioni in termini di lunghezza ed evitare duplicati/multipli nella stessa pagina;
  • Ottimizzazione della velocità delle pagine;
  • Ottimizzazione delle pagine orfane.

I prerequisiti stabiliti per il crawler sono stati tutti soddisfatti. I maggiori vantaggi di questo crawler sono che è di piena proprietà di OTTO e che i dati non devono più essere recuperati manualmente in lotti, con un notevole risparmio di tempo. Inoltre, abbiamo il pieno controllo su ciò che fa il crawler, su chi può accedervi e su dove vengono archiviati i dati in modo conforme al GDPR.