Como será o futuro da engenharia do data?

A função de um engenheiro data era quase inexistente há dez anos. No entanto, a necessidade desse tipo específico de engenheiro de software cresceu. À medida que o campo se tornou mais maduro, a função evoluiu.

As responsabilidades de um engenheiro data variam de uma empresa para outra e a função não evolui no mesmo ritmo em todos os lugares. Mas vejo que a função muda em três aspectos:

Vamos examinar os detalhes.

Há dez anos, as empresas dependiam da infraestrutura local para armazenar seus data. É por isso que o As primeiras grandes tecnologias data foram criadas para ambientes locais. Durante essa época, os engenheiros do data estavam gastando muito tempo ajustando a configuração de suas máquinas à custa da criação de valor comercial.

Então, Os provedores do cloud vieram com a promessa de fornecer serviços que eles gerenciam para o senhor. Assim, o senhor pode se concentrar em suas necessidades comerciais. Isso mudou tudo.

Agora, os provedores de cloud e empresas de tecnologia como a Snowflake e a Databricks facilitaram o grande data. O ecossistema do data também ficou mais maduro. Novas startups de data surgiram em campos específicos, como qualidade de data, data governance ou ingestão de data. A integração entre esses produtos é perfeita.

Já se foi o tempo em que os engenheiros do data tinham uma ferramenta da Apache Foundation para suas necessidades específicas. Eles têm uma infinidade de ferramentas para fazer a mesma coisa. Hoje em dia, os engenheiros do data têm a responsabilidade de escolher as melhores ferramentas. Como resultado, eles precisam ter um bom conhecimento do ecossistema e saber como realizar benchmarks e escolher critérios de decisão relevantes.

Escolher a ferramenta certa para o trabalho certo não é fácil. Mas a integração de ferramentas para formar um data platform consistente também é um desafio. Alguns engenheiros do data já utilizam a infraestrutura como código para montar esses tijolos e automatizar a implementação da infraestrutura. Vejo que isso está se tornando uma habilidade obrigatória.

O tempo em que os engenheiros do data desenvolviam pipelines de ETL complexos em Scala e Spark parece ter acabado.

Para a parte de extração, agora o senhor pode usar tecnologias como a Airbyte para agendar trabalhos de extração de várias fontes diferentes. A parte de carregamento não é mais um ponto problemático. O Snowflake, por exemplo, facilitou o carregamento de um arquivo do armazenamento de blob em uma tabela com um comando SQL de uma linha.
No que diz respeito à etapa de transformação, a DBT trouxe um novo paradigma no qual o senhor transforme seu data em seu armazém data usando SQL como linguagem principal. O A mudança de ETL para ELT está concluída.

Portanto, a implementação de um fluxo de trabalho nunca foi tão fácil e podemos dizer que Obrigado, senhor para a pilha moderna do data. A pilha moderna do data é um conjunto de tecnologias que visa reduzir a complexidade dos fluxos de trabalho do data e aumentar a velocidade da equipe do data. Graças à pilha moderna do data, os analistas do data agora podem ser autônomos. Eles não precisam mais da ajuda dos engenheiros de data para coletar e transformar o data bruto. Mas será que isso significa que os engenheiros de data não são mais necessários nas equipes de data? 😟
Talvez eu seja tendencioso, mas acho que a resposta é NÃO.

Meu palpite é que o a função do engenheiro data evoluirá para uma função mais orientada para as operações. A próxima geração de engenheiros do data se concentrará em melhorar a confiabilidade do data em toda a empresa. Suas responsabilidades serão:

Semelhante ao que notamos no desenvolvimento de software há alguns anos, com o surgimento dos engenheiros de confiabilidade de software (SRE), podemos ver uma tendência semelhante no mundo do data. Um novo cargo surgirá: O engenheiro de confiabilidade do data. Eles serão encarregados de garantir que o data esteja disponível no prazo e seja confiável.

Veremos mais engenheiros data sendo responsáveis pela definição de indicadores de nível de serviço (SLI) e objetivos de nível de serviço (SLO). Eles também participarão de rodízios de plantão e responderão a incidentes.
O dia a dia de um engenheiro data evoluirá, mas a posição dentro da organização também mudará.

Historicamente, os engenheiros do data eram membros de equipes de recursos. O problema é que isso levou a silos de data e à falta de consistência global. Por isso, as empresas começaram a se adaptar criando equipes transversais.

A próxima geração de engenheiros do data não trabalhará em um produto específico do data. Seu objetivo será tornar as equipes de produtos mais produtivas. Para isso, eles serão responsáveis por fornecer o conjunto certo de ferramentas. É disso que trata o paradigma da malha data: propriedade distribuída com uma equipe de base que fornece todas as ferramentas necessárias para criar produtos data.

Portanto, da próxima vez que o senhor precisar desenvolver um painel para o reports financeiro, não precisará de uma equipe de recursos composta por um proprietário de produto, um analista de data e um engenheiro de data. O analista de data será autônomo e aproveitará as ferramentas implementadas pela equipe de base, o que lhe permitirá extrair rapidamente o data necessário e calcular KPIs com base nesse data bruto.

Olhar para a taça de cristal é um exercício difícil. Há um pouco de incerteza associada às opiniões expressas acima. Mas espero que este artigo também o faça pensar sobre o futuro da função e ficaria feliz em ler seus pensamentos nos comentários!

É hora de deixar minha taça de cristal de lado por um momento e convidar o senhor a conferir nossa posições em aberto. Artefact é o lugar certo para pensar no futuro da nossa área.