Autor
Neste artigo, Pascal Coggia, Managing Partner da Artefact UK, explica o que é e o que não é o Data Mesh, por que ele é tanto uma mentalidade quanto uma abordagem, e seus casos de uso, benefícios e desafios.
O que é a malha Data? Qual é a diferença em relação a um lago data?
O arquiteto original do termo é Zhamak Dehghani, um Thoughtworks consultor e divulgador da descentralização do data. Em termos simples, o Data Mesh é uma abordagem de arquitetura distribuída para gerenciar o data analítico. Ela permite que os usuários finais acessem e consultem facilmente o data onde ele reside, sem primeiro transportá-lo para um lago ou depósito de data. Uma estratégia descentralizada do Data Mesh trata o data como um produto e fornece às equipes específicas do domínio a propriedade do data por meio de uma plataforma de autoatendimento que tem o data governance incorporado.
Os lagos Data são áreas de armazenamento minimamente controladas para o data de domínio bruto. Eles foram criados para fornecer acesso ilimitado ao data em uma tentativa de evitar o gargalo dos armazéns data centralizados e rigidamente controlados, mas eles tendem a sofrer com problemas de baixa qualidade e descoberta do data. Alguns projetos de lago do data governados abordaram esses problemas com um mínimo de sucesso, mas, como resultado, tendem a reduzir a acessibilidade relativa do data. O Data Mesh tem como objetivo resolver esses desafios por meio da descentralização, evitando assim totalmente os chamados “pântanos do data”.
O que significa “data como um produto”?
Penso nisso um pouco como a loja de aplicativos. O senhor simplesmente baixa um aplicativo quando quer fazer outra coisa. Por que não deveria ser assim com o data? Pense nisso estruturalmente: quais são os componentes de um produto data?
Tudo isso sugere que um produto data está em um tecido que permite sua interação. Ele não está isolado. O senhor não pode simplesmente juntar alguns data, colocá-los em um bucket S3 e chamá-los de produto data. O senhor precisa envolver a propriedade e a governança em torno dele.
Quais são os benefícios para as empresas?
Há muitos benefícios que o Data Mesh pode oferecer às organizações e às equipes de domínio multifuncional:
Quais são os desafios para a adoção do Data Mesh?
É importante lembrar que a malha Data não requer apenas um tecnológico turno, é necessário um mentalidade mudança. As organizações precisam aprender a pensar no data como um produto, no data governance e propriedade. Mudar as empresas de propriedade centralizada para descentralizada e mudar as organizações de pipelines para produtos, em que os domínios data são a preocupação de primeira classe, vai exigir algum trabalho.
Algumas outras questões incluem as citadas por Deloitte:
Quando uma empresa está pronta para adotar uma estratégia de malha Data?
Depende do grau de preparação da empresa. Mas também depende de com quem o senhor está falando. Um diretor de Data que construiu uma organização central enorme pode não estar pronto para o Data Mesh porque precisará primeiro estabelecer como federar essas funções. Mas a maioria dos líderes de negócios entende a necessidade de democratizar os ativos de data em direção às bordas e aos negócios, porque muitas vezes se sentem frustrados com a abordagem centralizada.
O senhor também precisa saber o que deve acontecer em nível de engenharia para poder controlar e governar a malha, pois se não a definir corretamente, ela pode se transformar em um faroeste. Portanto, há uma série de etapas a serem seguidas.
A transição para a malha Data é uma jornada incremental porque todos os elementos que o senhor já tem - lagos data, armazéns data - precisam se conectar à malha Data, não podem ser descartados. As pessoas vão querer essas informações, o valor e a governança que já estão envolvidos nelas.
Que tipos de empresas estão implementando com sucesso o Data Mesh?
No momento, o Data Mesh está sendo adotado com sucesso no setor de serviços financeiros. ING é um bom exemplo. Faz sentido para os bancos usarem o Data Mesh - ele suporta data governance mais forte, portanto, oferece maior segurança. Com o Data Mesh, os sistemas de detecção de fraudes não precisam se conectar a outros sistemas e extrair o mesmo data todos os dias. Em vez disso, as organizações podem criar produtos data focados no domínio que seus especialistas em detecção de anomalias podem usar para criar modelos e resultados melhores.
Zalando, A empresa de moda, que é a principal plataforma on-line da Europa, descentralizou seu data em 2020 e transformou seu enorme lago data em um Data Mesh. Quanto a outros setores, teremos que ver como será o processo caso a caso. Porque qualquer caso de negócios que o senhor criar para o Data Mesh precisará ser adaptado aos desafios específicos da organização - e do setor - e esses desafios estão em constante mudança.
As estratégias de gerenciamento Data estão sempre evoluindo e as organizações precisam estar preparadas para se adaptar às mudanças a fim de se manterem competitivas. O Data Mesh é uma maneira de acabar com os silos de sistemas de arquitetura monolítica pesados e descentralizar o data para obter responsabilidade e escalabilidade de ponta a ponta. A questão é se o Data Mesh é adequado para sua empresa - ou não, ou ainda não - é a questão.
