Como será o futuro da engenharia data ?

A função de um engenheiro de data era quase inexistente há dez anos. No entanto, a necessidade desse tipo específico de engenheiro de software cresceu. À medida que o campo se tornou mais maduro, a função evoluiu.

As responsabilidades de um engenheiro de data variam de uma empresa para outra e a função não evolui no mesmo ritmo em todos os lugares. Mas vejo a mudança da função em três aspectos:

Vamos examinar os detalhes.

Há dez anos, as empresas dependiam da infraestrutura local para armazenar seus data. É por isso que as primeiras grandes tecnologias data foram criadas para ambientes locais. Durante essa era, os engenheiros da data estavam gastando muito tempo ajustando a configuração de suas máquinas à custa da criação de valor comercial.

Então, os provedores decloud vieram com a promessa de fornecer serviços que eles gerenciam para você. Assim, você pode se concentrar em suas necessidades comerciais. Isso mudou o jogo.

Agora, os provedores de cloud e as empresas de tecnologia, como a Snowflake e a Databricks, facilitaram o Big data . O ecossistema data também ficou mais maduro. Novas startups data surgiram em campos específicos, como qualidade de data , governança data ou ingestão data . A integração entre esses produtos é perfeita.

Já se foi o tempo em que os engenheiros do data tinham uma ferramenta da Apache Foundation para suas necessidades específicas. Eles têm uma infinidade de ferramentas para fazer a mesma coisa. Atualmente, os engenheiros do data têm a responsabilidade de escolher as melhores ferramentas. Como resultado, eles precisam ter um bom conhecimento do ecossistema e saber como realizar benchmarks e escolher critérios de decisão relevantes.

Escolher a ferramenta certa para o trabalho certo não é fácil. Mas a integração de ferramentas para formar uma plataforma data consistente também é um desafio. Alguns engenheiros da data já utilizam a infraestrutura como código para montar esses blocos e automatizar a implementação da infraestrutura. Acredito que isso se tornará uma habilidade obrigatória.

Parece que acabou o tempo em que os engenheiros do data desenvolviam pipelines de ETL complexos em Scala e Spark.

Para a parte de extração, agora você pode usar tecnologias como a Airbyte para agendar trabalhos de extração de várias fontes diferentes. A parte de carregamento não é mais um ponto problemático. O Snowflake, por exemplo, facilitou o carregamento de um arquivo do armazenamento de blob em uma tabela em um comando SQL de uma linha.
No que diz respeito à etapa de transformação, o dbt trouxe um novo paradigma no qual você transforma seu data em seu armazém data usando SQL como linguagem principal. A mudança de ETL para ELT está completa.

Portanto, a implantação de um fluxo de trabalho nunca foi tão fácil e podemos agradecer à moderna pilha data . A pilha moderna data é um conjunto de tecnologias que visa reduzir a complexidade dos fluxos de trabalho data e aumentar a velocidade da equipe data . Graças à moderna pilha data , os analistas data agora podem ser autônomos. Eles não precisam mais da ajuda de engenheiros data para coletar e transformar dados brutos data. Mas será que isso significa que os engenheiros da data não são mais necessários nas equipes da data ? 😟
Talvez eu seja tendencioso, mas acho que a resposta é NÃO.

Meu palpite é que a função do engenheiro data evoluirá para uma função mais voltada para operações. A próxima geração de engenheiros da data se concentrará em melhorar a confiabilidade da data em toda a empresa. Suas responsabilidades serão:

Semelhante ao que observamos no desenvolvimento de software há alguns anos, com o surgimento dos engenheiros de confiabilidade de software (SRE), podemos ver uma tendência semelhante no mundo data . Um novo cargo será criado: o engenheiro de confiabilidade do data . Ele será responsável por garantir que o data esteja disponível no prazo e seja confiável.

Veremos mais engenheiros do data sendo responsáveis pela definição dos Indicadores de Nível de Serviço (SLI) e dos Objetivos de Nível de Serviço (SLO). Eles também participarão de rodízios de plantão e responderão a incidentes.
O dia a dia de um engenheiro de data evoluirá, mas a posição dentro da organização também mudará.

Historicamente, os engenheiros da data eram membros de equipes de recursos. O problema é que isso levou a data silos e à falta de consistência global. Por isso, as empresas começaram a se adaptar criando equipes transversais.

A próxima geração de engenheiros da data não trabalhará em um produto específico da data . Seu objetivo será tornar as equipes de produtos mais produtivas. Para isso, eles serão responsáveis por fornecer o conjunto certo de ferramentas. É disso que trata o paradigma de malha data : propriedade distribuída com uma equipe de base que fornece todas as ferramentas necessárias para criar produtos data .

Portanto, da próxima vez que você precisar desenvolver um painel para finanças reports, não precisará de uma equipe de recursos composta por um proprietário de produto, um analista data e um engenheiro data . O data analista será autônomo e aproveitará as ferramentas que a equipe de base implementou, permitindo que ele extraia rapidamente o data necessário e, em seguida, calcule os KPIs com base nesse data bruto.

Olhar para a taça de cristal é um exercício difícil. Há um pouco de incerteza associada às opiniões expressas acima. Mas espero que este artigo também o faça pensar sobre o futuro da função e ficaria feliz em ler suas opiniões nos comentários!

É hora de deixar minha tigela de cristal de lado por um momento e convidá-lo a conferir nossas vagas em aberto. Artefact é o lugar certo para pensar no futuro de nossa área.