{"id":67000,"date":"2022-05-16T13:54:53","date_gmt":"2022-05-16T12:54:53","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67000"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"what-does-the-future-of-data-engineering-look-like","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/what-does-the-future-of-data-engineering-look-like\/","title":{"rendered":"Quel est l'avenir de l'ing\u00e9nierie data ?"},"content":{"rendered":"

Auteur<\/h2><\/div>\"Image\"

Beno\u00eet Goujon<\/h3><\/div>

Data Engineer \u00e0 Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Lisez notre article sur<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Le domaine de l'ing\u00e9nierie data \u00e9volue rapidement. Cet article d\u00e9crit trois grandes tendances que je vois se dessiner dans les ann\u00e9es \u00e0 venir.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Le r\u00f4le d'un ing\u00e9nieur data \u00e9tait pratiquement inexistant il y a dix ans. Mais le besoin de ce type particulier d'ing\u00e9nieur logiciel s'est accru. Au fur et \u00e0 mesure que le domaine est devenu plus mature, le r\u00f4le a \u00e9volu\u00e9.<\/p>\n

Les responsabilit\u00e9s d'un ing\u00e9nieur data varient d'une entreprise \u00e0 l'autre et le r\u00f4le n'\u00e9volue pas au m\u00eame rythme partout. Mais je vois le r\u00f4le changer sous trois aspects :<\/p>\n<\/div>

  • <\/i><\/span>
    Les ing\u00e9nieurs Data tireront massivement parti des technologies cloud et des produits SaaS.<\/div><\/li>
  • <\/i><\/span>
    Les ing\u00e9nieurs de Data passeront moins de temps \u00e0 coder et plus de temps \u00e0 contr\u00f4ler.<\/div><\/li>
  • <\/i><\/span>
    Les ing\u00e9nieurs de Data changeront d'\u00e9quipe, passant d'une \u00e9quipe de fonctionnalit\u00e9s \u00e0 une \u00e9quipe de base.<\/div><\/li><\/ul>

    Entrons dans les d\u00e9tails.<\/p>\n<\/div>

    Les ing\u00e9nieurs Data tireront massivement parti des technologies cloud et des produits SaaS.<\/h2><\/div>

    Il y a dix ans, les entreprises s'appuyaient sur une infrastructure sur site pour stocker leurs data. C'est pourquoi\u00a0les premi\u00e8res grandes technologies data ont \u00e9t\u00e9 con\u00e7ues pour des environnements sur site<\/strong>. \u00c0 cette \u00e9poque, les ing\u00e9nieurs data passaient beaucoup de temps \u00e0 r\u00e9gler la configuration de leurs machines au d\u00e9triment de la cr\u00e9ation de valeur commerciale.<\/p>\n

    Ensuite,\u00a0Les fournisseurs de cloud ont promis de fournir des services qu'ils g\u00e8rent pour vous.<\/strong>. Vous pouvez ainsi vous concentrer sur les besoins de votre entreprise. Cela a chang\u00e9 la donne.<\/p>\n

    Aujourd'hui, les fournisseurs de cloud et les entreprises technologiques telles que Snowflake et Databricks ont facilit\u00e9 la mise en place de data de grande envergure. L'\u00e9cosyst\u00e8me data est \u00e9galement devenu plus mature. De nouvelles start-ups data sont apparues dans des domaines sp\u00e9cifiques tels que la qualit\u00e9 data, le data governance ou l'ingestion data. L'int\u00e9gration entre ces produits est transparente.<\/p>\n<\/div>

    <\/span><\/div>

    L'\u00e9poque o\u00f9 les ing\u00e9nieurs de data disposaient d'un outil de la Fondation Apache pour r\u00e9pondre \u00e0 leurs besoins sp\u00e9cifiques est r\u00e9volue. Ils disposent d'une myriade d'outils pour faire la m\u00eame chose. Aujourd'hui, les ing\u00e9nieurs de data ont la responsabilit\u00e9 de choisir les meilleurs outils. Par cons\u00e9quent, ils doivent avoir une bonne connaissance de l'\u00e9cosyst\u00e8me et savoir comment effectuer des analyses comparatives et choisir des crit\u00e8res de d\u00e9cision pertinents.<\/p>\n

    Il n'est pas facile de choisir le bon outil pour le bon travail. Mais int\u00e9grer des outils pour former une data platform coh\u00e9rente est \u00e9galement un d\u00e9fi. Certains ing\u00e9nieurs data exploitent d\u00e9j\u00e0 l'infrastructure en tant que code pour assembler ces briques et automatiser le d\u00e9ploiement de l'infrastructure. Je pense que cela deviendra une comp\u00e9tence obligatoire.<\/p>\n<\/div>

    Les ing\u00e9nieurs de Data passeront moins de temps \u00e0 coder et plus de temps \u00e0 contr\u00f4ler.<\/h2><\/div>

    L'\u00e9poque o\u00f9 les ing\u00e9nieurs de data d\u00e9veloppaient des pipelines ETL complexes en Scala et Spark semble r\u00e9volue.<\/p>\n

    Pour l'extraction, vous pouvez d\u00e9sormais utiliser des technologies comme Airbyte pour programmer des t\u00e2ches d'extraction \u00e0 partir d'un grand nombre de sources diff\u00e9rentes. Le chargement n'est plus un probl\u00e8me. Snowflake, par exemple, a facilit\u00e9 le chargement d'un fichier \u00e0 partir d'un stockage blob dans une table en une seule commande SQL.
    \nEn ce qui concerne l'\u00e9tape de la transformation, la dbt a apport\u00e9 un nouveau paradigme dans lequel vous\u00a0transformez votre data dans votre entrep\u00f4t data<\/strong>\u00a0utilisant SQL comme langage principal. Les\u00a0le passage de l'ETL \u00e0 l'ELT est termin\u00e9<\/strong>.<\/p>\n<\/div>

    Ainsi, le d\u00e9ploiement d'un flux de travail n'a jamais \u00e9t\u00e9 aussi facile et nous pouvons dire que\u00a0merci<\/em>\u00a0\u00e0 la pile moderne de data. La pile moderne de data est un ensemble de technologies visant \u00e0 r\u00e9duire la complexit\u00e9 des flux de travail de data et \u00e0 augmenter la v\u00e9locit\u00e9 de l'\u00e9quipe de data. Gr\u00e2ce \u00e0 la pile data moderne, les analystes data peuvent d\u00e9sormais \u00eatre autonomes. Ils n'ont plus besoin de l'aide des ing\u00e9nieurs data pour collecter et transformer les donn\u00e9es brutes data. Mais cela signifie-t-il que les ing\u00e9nieurs data ne sont plus n\u00e9cessaires dans les \u00e9quipes data ? \ud83d\ude1f
    \nJe suis peut-\u00eatre partial, mais je pense que la r\u00e9ponse est NON.<\/p>\n<\/div>

    \"My<\/span><\/div>

    Je pense que la\u00a0le r\u00f4le de l'ing\u00e9nieur data \u00e9voluera vers un r\u00f4le plus orient\u00e9 vers les op\u00e9rations<\/strong>. La prochaine g\u00e9n\u00e9ration d'ing\u00e9nieurs data se concentrera sur l'am\u00e9lioration de la fiabilit\u00e9 du data dans l'ensemble de l'entreprise. Leurs responsabilit\u00e9s seront les suivantes :<\/p>\n<\/div>