OTTO es uno de los mayores grandes almacenes en línea de los Países Bajos. Con una amplia gama de más de 160.000 productos, que incluye moda women's, masculina e infantil, multimedia, electrodomésticos para el hogar, la casa y el jardín, los clientes pueden encontrar casi todo para dentro y fuera de casa en OTTO.

Debido a este gran surtido de productos, que debe estar actualizado en todo momento, es de gran importancia que todo data esté bien estructurado y que todos los procesos se desarrollen sin problemas. La información que OTTO ofrece en su página web cambia constantemente, lo que afecta a los resultados orgánicos de los motores de búsqueda. Por lo tanto, los cambios en el sitio web pueden tener grandes consecuencias, pero también desastrosas, para las puntuaciones SEO. Para obtener una ventaja competitiva, es importante contar con una buena supervisión de las descripciones precisas de los productos, las existencias, los precios, etc., para asegurarse de que OTTO sigue obteniendo una buena puntuación en las palabras clave de búsqueda orgánica.

Para hacer un seguimiento de la salud del sitio web y detectar los problemas relacionados con el SEO en una fase temprana, OTTO quería un sistema de supervisión interno que mantuviera un registro de la información durante un periodo de tiempo más largo. Ante esta cuestión, recurrieron a Artefact.

Los requisitos de nuestro sistema de vigilancia

Tras discutir el reto con OTTO, se nos ocurrieron varios requisitos para el sistema de vigilancia. Tiene que ser

  • Capaz de recuperar semanalmente el data actualizado;
  • Disponible a nivel automatizado;
  • Capaz de procesar grandes cantidades de data;
  • Almacenamiento seguro y a prueba de GDPR de data;
  • Proporcione un control total sobre quién, qué, dónde y cuándo se está recuperando el data y el acceso al mismo;
  • Un cuadro de mandos claro que muestra los cambios de forma inmediata tanto para los especialistas en SEO como para los profanos;
  • Capaz de mostrar notificaciones push cuando se detecta un gran error.

Si el sistema de control cumpliera todos estos requisitos, finalmente podría reducir el porcentaje de errores del sitio web para las puntuaciones SEO de 10% a 5%.

La solución: un rastreador interno

Rápidamente nos dimos cuenta de que un crawler sería la mejor solución para nuestra demanda. Un crawler es un algoritmo que realiza estudios automatizados (es decir, rastreos) sobre la salud técnica del sitio web. Los resultados de los rastreos se presentan en un cuadro de mandos claro que puede utilizarse como instrumento estratégico para supervisar y mejorar los aspectos técnicos, así como el contenido del sitio web. Aunque OTTO ya utilizaba un rastreador, éste no cumplía todos nuestros requisitos. Por lo tanto, decidimos construir nuestro propio rastreador, en plena propiedad de OTTO, que nos proporcionara información actualizada para ayudar a mejorar las puntuaciones SEO. Este rastreador tenía que mapear dónde se producían los errores del sitio web (códigos de estado 4XX y 5XX) en el sitio web, para rastrearlos y gestionarlos rápidamente.

Es importante que se le notifiquen los errores rápidamente para optimizar la rastreabilidad del sitio web. Las auditorías automatizadas semanales del rastreador ayudan a identificar y corregir errores como enlaces muertos y páginas que faltan, en las que la automatización es la parte más importante. Las herramientas y scripts automatizados permiten resolver rápidamente problemas que no pueden realizarse manualmente. Además, ahorra tiempo y costes a OTTO.

Pasos de la aplicación

Dimos varios pasos para construir el rastreador, algunos de los cuales fueron muy útiles, otros - no tanto. Destacaremos los más importantes:

  • El primer paso fue obtener la certificación ‘Líder Digital Certificado en Nube de Google’ de Google para todo el equipo de SEO.

  • Tras obtener la certificación, nos sumergimos en Google Cloud y probamos diferentes configuraciones de servidor (mucho almacenamiento + menos RAM, o menos almacenamiento + mucha RAM) e interfaces (GUI, headless) para optimizar la eficiencia.

  • Cuando la primera prueba de trabajo estuvo terminada, empezamos a probar la conexión BigQuery para crear el cuadro de mando en LookerStudio. La primera prueba fue un éxito pero necesitaba mejoras y mejoras en la escalabilidad. Junto con nuestros equipos Data Engineering y Data Analytics, construimos una prueba de concepto para comprobar la viabilidad de construir nuestro propio rastreador. Los factores más importantes en este caso fueron la escalabilidad y la precisión del data.

  • A continuación, añadimos un filtro de categorías y campos adicionales al data para generar resúmenes fáciles de entender y descargar, tanto para especialistas en SEO como para profanos.

  • Por último, construimos un cuadro de mandos claro basado en la plantilla de Screaming Frog.

Mejorar el CTR y los errores del sitio web en cuestión de minutos

El rastreador acaba de ser lanzado en el sitio web de OTTO y está empezando a recopilar data. Aunque el rastreador no lleva mucho tiempo operativo, tenemos algunos resultados preliminares que compartir.

Resultados obtenidos

  • Detección de aproximadamente 130.000 metatítulos y descripciones erróneos/faltantes/demasiado cortos o largos, lo que se traduce en una mejora del CTR tras solucionar estos problemas;
  • 50% disminución en 4XX páginas;
  • El porcentaje de URL 404 ha disminuido de 6,6% a 3%;
  • El número de URL no indexadas con una profundidad ≥6 se ha reducido de 6200 a 0.

Resultados esperados

  • Mejoras en el mapa del sitio;
  • Disminuya el número de URL competidoras mediante etiquetas canónicas y enlaces internos;
  • Disminuya el número de URL indexadas que se están canonizando;
  • Mejore la estructura de enlaces internos;
  • Optimice la longitud de las cabeceras y evite duplicados / múltiples en la misma página;
  • Optimizaciones de Pagespeed;
  • Optimizaciones de páginas huérfanas.

Todos los requisitos previos que se fijaron para el rastreador se han cumplido. Las mayores ventajas de este rastreador son que es de plena propiedad de OTTO y que ya no es necesario recuperar manualmente el data por lotes, lo que ahorra mucho tiempo. Además, tenemos pleno control sobre lo que hace el rastreador, quién tiene acceso a él y dónde se almacena el data, de conformidad con la GDPR.