¿Cómo será el futuro de la ingeniería data?

El papel de un ingeniero data era casi inexistente hace diez años. Pero, la necesidad de este tipo concreto de ingeniero de software ha crecido. A medida que el campo maduraba, el papel evolucionaba.

Las responsabilidades de un ingeniero data varían de una empresa a otra y el papel no evoluciona al mismo ritmo en todas partes. Pero yo veo que el papel cambia en tres aspectos:

Entremos en detalles.

Hace diez años, las empresas dependían de la infraestructura in situ para almacenar sus data. Por eso las primeras grandes tecnologías data se construyeron para entornos in situ. Durante esta época, los ingenieros de data dedicaban mucho tiempo a afinar la configuración de sus máquinas en detrimento de la creación de valor empresarial.

Entonces, Los proveedores de cloud llegaron con la promesa de prestarle los servicios que ellos gestionan. Así, puede centrarse en las necesidades de su negocio. Esto ha cambiado las reglas del juego.

Ahora, los proveedores de cloud y empresas tecnológicas como Snowflake y Databricks han facilitado el gran data. El ecosistema data también se hizo más maduro. Surgieron nuevas startups data en campos específicos como la calidad data, el data governance o la ingestión data. La integración entre esos productos es perfecta.

Los días en que los ingenieros de data disponían de una herramienta de la Fundación Apache para su necesidad específica han quedado atrás. Ahora disponen de una miríada de herramientas para hacer lo mismo. Hoy en día, los ingenieros de data tienen la responsabilidad de elegir las mejores herramientas. Por ello, necesitan conocer bien el ecosistema y saber cómo realizar pruebas comparativas y elegir los criterios de decisión pertinentes.

Elegir la herramienta adecuada para el trabajo adecuado no es fácil. Pero integrar las herramientas para formar una data platform coherente también es un reto. Algunos ingenieros data ya aprovechan la infraestructura como código para ensamblar estos ladrillos y automatizar el despliegue de la infraestructura. Veo que esto se convertirá en una habilidad obligatoria.

La época en la que los ingenieros de data desarrollaban complejas canalizaciones ETL en Scala y Spark parece haber terminado.

Para la parte de extracción, ahora puede utilizar tecnologías como Airbyte para programar trabajos de extracción de un montón de fuentes diferentes. La parte de carga ya no es un punto doloroso. Snowflake, por ejemplo, facilitó la carga de un archivo desde el almacenamiento blob a una tabla en un comando SQL de una sola línea.
En lo que respecta al paso de la transformación, el dbt aportó un nuevo paradigma en el que usted transforme su data en su almacén data utilizando SQL como lenguaje principal. El sitio Se ha completado el cambio de ETL a ELT.

Por lo tanto, desplegar un flujo de trabajo nunca ha sido tan fácil y podemos decir que gracias a la pila moderna data. La pila data moderna es un conjunto de tecnologías cuyo objetivo es reducir la complejidad de los flujos de trabajo data y aumentar la velocidad de los equipos data. Gracias a la pila data moderna, los analistas data pueden ahora ser autónomos. Ya no necesitan la ayuda de los ingenieros data para recopilar y transformar data en bruto. Pero ¿significa esto que los ingenieros data ya no son necesarios en los equipos data? 😟
Puede que sea parcial, pero creo que la respuesta es NO.

Mi suposición es que el el papel del ingeniero data evolucionará hacia un papel más orientado a las operaciones. La próxima generación de ingenieros data se centrará en mejorar la fiabilidad data en toda la empresa. Sus responsabilidades serán:

De forma similar a lo que observamos en el desarrollo de software hace unos años con el auge de los ingenieros de fiabilidad de software (SRE), es posible que veamos una tendencia similar en el mundo data. Surgirá un nuevo puesto de trabajo: el ingeniero de fiabilidad del data. Se encargarán de asegurándose de que data esté disponible a tiempo y sea digno de confianza.

Veremos más ingenieros data responsables de definir los Indicadores de Nivel de Servicio (SLI) y los Objetivos de Nivel de Servicio (SLO). También participarán en rotaciones de guardia y responderán a incidentes.
El día a día de un ingeniero data evolucionará pero la posición dentro de la organización también cambiará.

Históricamente, los ingenieros de data formaban parte de equipos de características. El problema es que esto daba lugar a silos de data y a una falta de coherencia global. Por eso las empresas empezaron a adaptarse creando equipos transversales.

La próxima generación de ingenieros de data no trabajará en un producto concreto de data. Su objetivo será hacer que los equipos de producto sean más productivos. Para ello, se encargarán de proporcionar el conjunto de herramientas adecuado. En esto consiste el paradigma de la malla data: propiedad distribuida con un equipo de fundación que proporciona todas las herramientas necesarias para fabricar productos data.

Así, la próxima vez que necesite desarrollar un cuadro de mando para reports financieros, no necesitará un equipo de funciones compuesto por un propietario de producto, un analista de data y un ingeniero de data. El analista data será autónomo y aprovechará las herramientas que el equipo de fundamentos haya desplegado, lo que le permitirá extraer rápidamente la data necesaria y luego calcular los KPI sobre esta data bruta.

Mirar la copa de cristal es un ejercicio difícil. Hay un poco de incertidumbre asociada a las opiniones expresadas anteriormente. Pero espero que este artículo le haga reflexionar a usted también sobre el futuro del papel y ¡me encantaría leer sus opiniones en los comentarios!

Es hora de dejar mi cuenco de cristal a un lado por un momento e invitarle a que compruebe nuestra puestos vacantes. Artefact es el lugar adecuado para pensar en el futuro de nuestro campo.