{"id":67000,"date":"2022-05-16T13:54:53","date_gmt":"2022-05-16T12:54:53","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67000"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"what-does-the-future-of-data-engineering-look-like","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/what-does-the-future-of-data-engineering-look-like\/","title":{"rendered":"\u00bfC\u00f3mo ser\u00e1 el futuro de la ingenier\u00eda data?"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Beno\u00eet Goujon<\/h3><\/div>

Data Engineer a Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lea nuestro art\u00edculo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

El campo de la ingenier\u00eda data est\u00e1 evolucionando r\u00e1pidamente. En este art\u00edculo se describen tres tendencias principales que considero que cobrar\u00e1n protagonismo en los pr\u00f3ximos a\u00f1os.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

El papel de un ingeniero data era casi inexistente hace diez a\u00f1os. Pero, la necesidad de este tipo concreto de ingeniero de software ha crecido. A medida que el campo maduraba, el papel evolucionaba.<\/p>\n

Las responsabilidades de un ingeniero data var\u00edan de una empresa a otra y el papel no evoluciona al mismo ritmo en todas partes. Pero yo veo que el papel cambia en tres aspectos:<\/p>\n<\/div>

  • <\/i><\/span>
    Los ingenieros Data aprovechar\u00e1n masivamente las tecnolog\u00edas cloud y los productos SaaS<\/div><\/li>
  • <\/i><\/span>
    Los ingenieros del Data dedicar\u00e1n menos tiempo a codificar y m\u00e1s a supervisar<\/div><\/li>
  • <\/i><\/span>
    Los ingenieros de Data cambiar\u00e1n de equipos de caracter\u00edsticas a equipos de cimientos<\/div><\/li><\/ul>

    Entremos en detalles.<\/p>\n<\/div>

    Los ingenieros Data aprovechar\u00e1n masivamente las tecnolog\u00edas cloud y los productos SaaS<\/h2><\/div>

    Hace diez a\u00f1os, las empresas depend\u00edan de la infraestructura in situ para almacenar sus data. Por eso\u00a0las primeras grandes tecnolog\u00edas data se construyeron para entornos in situ<\/strong>. Durante esta \u00e9poca, los ingenieros de data dedicaban mucho tiempo a afinar la configuraci\u00f3n de sus m\u00e1quinas en detrimento de la creaci\u00f3n de valor empresarial.<\/p>\n

    Entonces,\u00a0Los proveedores de cloud llegaron con la promesa de prestarle los servicios que ellos gestionan<\/strong>. As\u00ed, puede centrarse en las necesidades de su negocio. Esto ha cambiado las reglas del juego.<\/p>\n

    Ahora, los proveedores de cloud y empresas tecnol\u00f3gicas como Snowflake y Databricks han facilitado el gran data. El ecosistema data tambi\u00e9n se hizo m\u00e1s maduro. Surgieron nuevas startups data en campos espec\u00edficos como la calidad data, el data governance o la ingesti\u00f3n data. La integraci\u00f3n entre esos productos es perfecta.<\/p>\n<\/div>

    <\/span><\/div>

    Los d\u00edas en que los ingenieros de data dispon\u00edan de una herramienta de la Fundaci\u00f3n Apache para su necesidad espec\u00edfica han quedado atr\u00e1s. Ahora disponen de una mir\u00edada de herramientas para hacer lo mismo. Hoy en d\u00eda, los ingenieros de data tienen la responsabilidad de elegir las mejores herramientas. Por ello, necesitan conocer bien el ecosistema y saber c\u00f3mo realizar pruebas comparativas y elegir los criterios de decisi\u00f3n pertinentes.<\/p>\n

    Elegir la herramienta adecuada para el trabajo adecuado no es f\u00e1cil. Pero integrar las herramientas para formar una data platform coherente tambi\u00e9n es un reto. Algunos ingenieros data ya aprovechan la infraestructura como c\u00f3digo para ensamblar estos ladrillos y automatizar el despliegue de la infraestructura. Veo que esto se convertir\u00e1 en una habilidad obligatoria.<\/p>\n<\/div>

    Los ingenieros del Data dedicar\u00e1n menos tiempo a codificar y m\u00e1s a supervisar<\/h2><\/div>

    La \u00e9poca en la que los ingenieros de data desarrollaban complejas canalizaciones ETL en Scala y Spark parece haber terminado.<\/p>\n

    Para la parte de extracci\u00f3n, ahora puede utilizar tecnolog\u00edas como Airbyte para programar trabajos de extracci\u00f3n de un mont\u00f3n de fuentes diferentes. La parte de carga ya no es un punto doloroso. Snowflake, por ejemplo, facilit\u00f3 la carga de un archivo desde el almacenamiento blob a una tabla en un comando SQL de una sola l\u00ednea.
    \nEn lo que respecta al paso de la transformaci\u00f3n, el dbt aport\u00f3 un nuevo paradigma en el que usted\u00a0transforme su data en su almac\u00e9n data<\/strong>\u00a0utilizando SQL como lenguaje principal. El sitio\u00a0Se ha completado el cambio de ETL a ELT<\/strong>.<\/p>\n<\/div>

    Por lo tanto, desplegar un flujo de trabajo nunca ha sido tan f\u00e1cil y podemos decir que\u00a0gracias<\/em>\u00a0a la pila moderna data. La pila data moderna es un conjunto de tecnolog\u00edas cuyo objetivo es reducir la complejidad de los flujos de trabajo data y aumentar la velocidad de los equipos data. Gracias a la pila data moderna, los analistas data pueden ahora ser aut\u00f3nomos. Ya no necesitan la ayuda de los ingenieros data para recopilar y transformar data en bruto. Pero \u00bfsignifica esto que los ingenieros data ya no son necesarios en los equipos data? \ud83d\ude1f
    \nPuede que sea parcial, pero creo que la respuesta es NO.<\/p>\n<\/div>

    \"My<\/span><\/div>

    Mi suposici\u00f3n es que el\u00a0el papel del ingeniero data evolucionar\u00e1 hacia un papel m\u00e1s orientado a las operaciones<\/strong>. La pr\u00f3xima generaci\u00f3n de ingenieros data se centrar\u00e1 en mejorar la fiabilidad data en toda la empresa. Sus responsabilidades ser\u00e1n:<\/p>\n<\/div>