{"id":67000,"date":"2022-05-16T13:54:53","date_gmt":"2022-05-16T12:54:53","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=67000"},"modified":"2024-09-20T17:45:49","modified_gmt":"2024-09-20T16:45:49","slug":"what-does-the-future-of-data-engineering-look-like","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/what-does-the-future-of-data-engineering-look-like\/","title":{"rendered":"Como ser\u00e1 o futuro da engenharia do data?"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Beno\u00eet Goujon<\/h3><\/div>

Data Engineer a Artefact<\/p>\n<\/div><\/div><\/div><\/div><\/div>

<\/span><\/a><\/span>

Leia nosso artigo sobre<\/u><\/p>\n<\/div>

<\/span><\/div>

.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

O campo da engenharia data est\u00e1 evoluindo rapidamente. Este artigo descreve tr\u00eas tend\u00eancias principais que vejo se tornarem proeminentes nos pr\u00f3ximos anos.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

A fun\u00e7\u00e3o de um engenheiro data era quase inexistente h\u00e1 dez anos. No entanto, a necessidade desse tipo espec\u00edfico de engenheiro de software cresceu. \u00c0 medida que o campo se tornou mais maduro, a fun\u00e7\u00e3o evoluiu.<\/p>\n

As responsabilidades de um engenheiro data variam de uma empresa para outra e a fun\u00e7\u00e3o n\u00e3o evolui no mesmo ritmo em todos os lugares. Mas vejo que a fun\u00e7\u00e3o muda em tr\u00eas aspectos:<\/p>\n<\/div>

  • <\/i><\/span>
    Os engenheiros do Data aproveitar\u00e3o enormemente as tecnologias do cloud e os produtos SaaS<\/div><\/li>
  • <\/i><\/span>
    Os engenheiros do Data passar\u00e3o menos tempo codificando e mais tempo monitorando<\/div><\/li>
  • <\/i><\/span>
    Os engenheiros do Data mudar\u00e3o as equipes de equipes de recursos para equipes de base<\/div><\/li><\/ul>

    Vamos examinar os detalhes.<\/p>\n<\/div>

    Os engenheiros do Data aproveitar\u00e3o enormemente as tecnologias do cloud e os produtos SaaS<\/h2><\/div>

    H\u00e1 dez anos, as empresas dependiam da infraestrutura local para armazenar seus data. \u00c9 por isso que o\u00a0As primeiras grandes tecnologias data foram criadas para ambientes locais<\/strong>. Durante essa \u00e9poca, os engenheiros do data estavam gastando muito tempo ajustando a configura\u00e7\u00e3o de suas m\u00e1quinas \u00e0 custa da cria\u00e7\u00e3o de valor comercial.<\/p>\n

    Ent\u00e3o,\u00a0Os provedores do cloud vieram com a promessa de fornecer servi\u00e7os que eles gerenciam para o senhor<\/strong>. Assim, o senhor pode se concentrar em suas necessidades comerciais. Isso mudou tudo.<\/p>\n

    Agora, os provedores de cloud e empresas de tecnologia como a Snowflake e a Databricks facilitaram o grande data. O ecossistema do data tamb\u00e9m ficou mais maduro. Novas startups de data surgiram em campos espec\u00edficos, como qualidade de data, data governance ou ingest\u00e3o de data. A integra\u00e7\u00e3o entre esses produtos \u00e9 perfeita.<\/p>\n<\/div>

    <\/span><\/div>

    J\u00e1 se foi o tempo em que os engenheiros do data tinham uma ferramenta da Apache Foundation para suas necessidades espec\u00edficas. Eles t\u00eam uma infinidade de ferramentas para fazer a mesma coisa. Hoje em dia, os engenheiros do data t\u00eam a responsabilidade de escolher as melhores ferramentas. Como resultado, eles precisam ter um bom conhecimento do ecossistema e saber como realizar benchmarks e escolher crit\u00e9rios de decis\u00e3o relevantes.<\/p>\n

    Escolher a ferramenta certa para o trabalho certo n\u00e3o \u00e9 f\u00e1cil. Mas a integra\u00e7\u00e3o de ferramentas para formar um data platform consistente tamb\u00e9m \u00e9 um desafio. Alguns engenheiros do data j\u00e1 utilizam a infraestrutura como c\u00f3digo para montar esses tijolos e automatizar a implementa\u00e7\u00e3o da infraestrutura. Vejo que isso est\u00e1 se tornando uma habilidade obrigat\u00f3ria.<\/p>\n<\/div>

    Os engenheiros do Data passar\u00e3o menos tempo codificando e mais tempo monitorando<\/h2><\/div>

    O tempo em que os engenheiros do data desenvolviam pipelines de ETL complexos em Scala e Spark parece ter acabado.<\/p>\n

    Para a parte de extra\u00e7\u00e3o, agora o senhor pode usar tecnologias como a Airbyte para agendar trabalhos de extra\u00e7\u00e3o de v\u00e1rias fontes diferentes. A parte de carregamento n\u00e3o \u00e9 mais um ponto problem\u00e1tico. O Snowflake, por exemplo, facilitou o carregamento de um arquivo do armazenamento de blob em uma tabela com um comando SQL de uma linha.
    \nNo que diz respeito \u00e0 etapa de transforma\u00e7\u00e3o, a DBT trouxe um novo paradigma no qual o senhor\u00a0transforme seu data em seu armaz\u00e9m data<\/strong>\u00a0usando SQL como linguagem principal. O\u00a0A mudan\u00e7a de ETL para ELT est\u00e1 conclu\u00edda<\/strong>.<\/p>\n<\/div>

    Portanto, a implementa\u00e7\u00e3o de um fluxo de trabalho nunca foi t\u00e3o f\u00e1cil e podemos dizer que\u00a0Obrigado, senhor<\/em>\u00a0para a pilha moderna do data. A pilha moderna do data \u00e9 um conjunto de tecnologias que visa reduzir a complexidade dos fluxos de trabalho do data e aumentar a velocidade da equipe do data. Gra\u00e7as \u00e0 pilha moderna do data, os analistas do data agora podem ser aut\u00f4nomos. Eles n\u00e3o precisam mais da ajuda dos engenheiros de data para coletar e transformar o data bruto. Mas ser\u00e1 que isso significa que os engenheiros de data n\u00e3o s\u00e3o mais necess\u00e1rios nas equipes de data? \ud83d\ude1f
    \nTalvez eu seja tendencioso, mas acho que a resposta \u00e9 N\u00c3O.<\/p>\n<\/div>

    \"My<\/span><\/div>

    Meu palpite \u00e9 que o\u00a0a fun\u00e7\u00e3o do engenheiro data evoluir\u00e1 para uma fun\u00e7\u00e3o mais orientada para as opera\u00e7\u00f5es<\/strong>. A pr\u00f3xima gera\u00e7\u00e3o de engenheiros do data se concentrar\u00e1 em melhorar a confiabilidade do data em toda a empresa. Suas responsabilidades ser\u00e3o:<\/p>\n<\/div>