¿Cómo será el futuro de la ingeniería en data ?

El papel de un ingeniero de data era casi inexistente hace diez años. Pero la necesidad de este tipo concreto de ingeniero de software ha crecido. A medida que el campo maduraba, la función evolucionaba.

Las responsabilidades de un ingeniero de data varían de una Compañia a otra y el papel no evoluciona al mismo ritmo en todas partes. Pero yo veo que el papel cambia en tres aspectos:

Entremos en detalles.

Hace diez años, las empresas confiaban en la infraestructura local para almacenar sus data. Por eso, las primeras grandes tecnologías de data se crearon para entornos locales. Durante esta época, los ingenieros de data dedicaban mucho tiempo a afinar la configuración de sus máquinas a costa de crear valor empresarial.

Entonces, los proveedores decloud llegaron con la promesa de ofrecer servicios que gestionan por usted. Así, usted puede centrarse en sus necesidades empresariales. Esto ha cambiado las reglas del juego.

Ahora, los proveedores de cloud y empresas tecnológicas como Snowflake y Databricks han facilitado el big data . El ecosistema de data también ha madurado. Han surgido nuevas startups de data en campos específicos como la calidad de data , la gobernanza de data o la ingestión de data . La integración entre estos productos es perfecta.

Los tiempos en que los ingenieros de data disponían de una herramienta de la Fundación Apache para sus necesidades específicas han quedado atrás. Tienen una miríada de herramientas para hacer lo mismo. Hoy en día, los ingenieros de data tienen la responsabilidad de elegir las mejores herramientas. Como resultado, necesitan tener un buen conocimiento del ecosistema y saber cómo llevar a cabo evaluaciones comparativas y elegir los criterios de decisión pertinentes.

Elegir la herramienta adecuada para cada trabajo no es fácil. Pero integrar herramientas para formar una plataforma coherente data también es un reto. Algunos ingenieros de data ya aprovechan la infraestructura como código para ensamblar estos ladrillos y automatizar el despliegue de la infraestructura. Veo que esto se está convirtiendo en una habilidad obligatoria.

La época en la que los ingenieros de data desarrollaban complejos ETL pipelines en Scala y Spark parece haber terminado.

Para la parte de extracción, ahora puedes utilizar tecnologías como Airbyte para programar trabajos de extracción de un montón de fuentes diferentes. La carga ya no es un problema. Snowflake, por ejemplo, facilitó la carga de un archivo de almacenamiento blob en una tabla con un comando SQL de una sola línea.
En cuanto al paso de transformación, dbt trajo un nuevo paradigma en el que transformas tu data en tu almacén data usando SQL como lenguaje primario. El cambio de ETL a ELT se ha completado.

Así pues, desplegar un flujo de trabajo nunca ha sido tan fácil y podemos dar las gracias a la pila moderna data . La pila moderna data es un conjunto de tecnologías cuyo objetivo es reducir la complejidad de los flujos de trabajo data y aumentar la velocidad de los equipos data . Gracias a la pila moderna data , los analistas de data ahora pueden ser autónomos. Ya no necesitan la ayuda de los ingenieros de data para recopilar y transformar los datos en bruto de data. Pero, ¿significa esto que los ingenieros de data ya no son necesarios en los equipos de data ? 😟
Puede que sea parcial, pero creo que la respuesta es NO.

Mi opinión es que el papel del ingeniero de data evolucionará hacia una función más orientada a las operaciones. La próxima generación de ingenieros de data se centrará en mejorar la fiabilidad de data en todo Compañia. Sus responsabilidades serán:

De forma similar a lo que observamos en el desarrollo de software hace unos años con el auge de los ingenieros de fiabilidad de software (SRE), es posible que veamos una tendencia similar en el mundo de data . Surgirá un nuevo puesto de trabajo: el ingeniero de fiabilidad de data . Se encargará de garantizar que data esté disponible a tiempo y sea fiable.

Veremos más ingenieros de data responsables de definir los Indicadores de Nivel de Servicio (SLI) y los Objetivos de Nivel de Servicio (SLO). También participarán en rotaciones de guardia y responderán a incidentes.
El día a día de un ingeniero de data evolucionará, pero también cambiará su posición dentro de la organización.

Históricamente, los ingenieros de data formaban parte de equipos de características. El problema es que esto daba lugar a data silos y a una falta de coherencia global. Por eso las empresas empezaron a adaptarse creando equipos transversales.

La próxima generación de ingenieros de data no trabajará en un producto concreto de data . Su objetivo será hacer que los equipos de producto sean más productivos. Para ello, se encargarán de proporcionar el conjunto de herramientas adecuado. En esto consiste el paradigma de la malla data : propiedad distribuida con un equipo base que proporciona todas las herramientas necesarias para construir productos data .

Así, la próxima vez que necesite desarrollar un cuadro de mandos para reports financiero, no necesitará un equipo de características compuesto por un propietario del producto, un analista de data y un ingeniero de data . El analista de data será autónomo y aprovechará las herramientas que haya desplegado el equipo de la base, lo que le permitirá extraer rápidamente la información necesaria de data y, a continuación, calcular los indicadores clave de rendimiento a partir de esta información en bruto data.

Mirar la copa de cristal es un ejercicio difícil. Hay un poco de incertidumbre asociada a las opiniones expresadas anteriormente. Pero espero que este artículo te haga reflexionar a ti también sobre el futuro del papel y ¡me encantaría leer tus opiniones en los comentarios!

Es hora de dejar a un lado mi cuenco de cristal por un momento e invitarle a consultar nuestros puestos vacantes. Artefact es el lugar adecuado para pensar en el futuro de nuestro campo.