Autor
Neste artigo, Pascal Coggia, sócio-gerente da Artefact UK, explica o que é e o que não é o Data Mesh, por que ele é tanto uma mentalidade quanto uma abordagem, e seus casos de uso, benefícios e desafios.
O que é Data Mesh? Qual é a diferença entre ela e um lago data ?
O arquiteto original do termo é Zhamak Dehghani, consultor da Thoughtworks e divulgador da descentralização data . Em termos simples, Data Mesh é uma abordagem de arquitetura distribuída para o gerenciamento de dados analíticos data. Ela permite que os usuários finais acessem e consultem facilmente data onde ele reside, sem primeiro transportá-lo para um lago ou armazém data . Uma estratégia descentralizada de Data Mesh trata o data como um produto e fornece às equipes específicas do domínio a propriedade do data por meio de uma plataforma de autoatendimento que tem a governança data incorporada.
Data Os lagos são áreas de armazenamento minimamente controladas para domínios brutos data. Eles foram criados para fornecer acesso ilimitado a data em uma tentativa de evitar o gargalo dos armazéns data centralizados e rigidamente controlados, mas tendem a sofrer com a baixa qualidade de data e problemas de descoberta. Alguns projetos governados de data lake abordaram esses problemas com um mínimo de sucesso, mas, como resultado, tendem a reduzir a acessibilidade relativa do data . Data O Mesh tem como objetivo solucionar esses desafios por meio da descentralização, evitando assim totalmente os chamados "pântanosdata ".
O que significa "data como um produto"?
Penso nisso um pouco como a loja de aplicativos. Você simplesmente baixa um aplicativo quando quer fazer outra coisa. Por que não deveria ser assim com o data? Pense nisso estruturalmente: quais são os componentes de um produto data ?
Tudo isso sugere que um produto data está em um tecido que permite sua interação. Ele não está isolado. Você não pode simplesmente juntar um pouco de data , colocá-lo em um bucket S3 e chamá-lo de produto data . É preciso envolver a propriedade e a governança em torno dele.
Quais são os benefícios para as empresas?
Há muitos benefícios que o Data Mesh pode oferecer às organizações e às equipes de domínio multifuncionais:
Quais são os desafios para a adoção do Data Mesh?
É importante lembrar que a Data Mesh não exige apenas uma mudança tecnológica, mas também uma mudança de mentalidade. As organizações precisam aprender a pensar no data como um produto, na governança e na propriedade dodata . Mudar os negócios de propriedade centralizada para descentralizada e mudar as organizações de pipelines para produtos, em que os domínios data são a preocupação de primeira classe, vai exigir algum esforço.
Alguns outros problemas incluem os citados pela Deloitte:
Quando uma empresa está pronta para adotar uma estratégia de malha Data ?
Depende do grau de preparação da empresa. Mas também depende de com quem você está falando. Um executivo-chefe de Data que tenha criado uma organização central enorme pode não estar pronto para a Data Mesh, pois precisará primeiro estabelecer como federar essas funções. Mas a maioria dos líderes de negócios entende a necessidade de democratizar o ativo data em direção às bordas e aos negócios, pois muitas vezes se sentem frustrados com a abordagem centralizada.
Você também precisa saber o que deve acontecer em nível de engenharia para poder controlar e governar a malha, pois se não for configurada corretamente, pode se transformar em um faroeste. Portanto, há uma série de etapas a serem seguidas.
A transição para uma malha Data é uma jornada incremental porque todos os elementos que você já tem - data lakes, data warehouses - precisam se conectar à malha Data , não podem ser descartados. As pessoas vão querer essas informações, o valor e a governança que já estão envolvidos nelas.
Que tipos de empresas estão implantando com sucesso o Data Mesh?
No momento, o Data Mesh está sendo adotado com sucesso no setor de serviços financeiros. O ING é um bom exemplo. Faz sentido que os bancos usem o Data Mesh - ele oferece suporte a uma governança mais forte do data , portanto, oferece maior segurança. Com o Data Mesh, os sistemas de detecção de fraudes não precisam se conectar a outros sistemas e obter o mesmo data todos os dias. Em vez disso, as organizações podem criar produtos data focados no domínio que seus especialistas em detecção de anomalias podem usar para criar modelos e resultados melhores.
A Zalando, que é a principal plataforma on-line de moda da Europa, descentralizou seu data em 2020 e transformou seu enorme lago data em uma malha Data . Quanto a outros setores, teremos que ver como será a situação caso a caso. Porque qualquer caso de negócios que você criar para a Data Mesh precisará ser adaptado aos desafios específicos da organização - e do setor - e esses desafios estão em constante mudança.
Data As estratégias de gerenciamento estão sempre evoluindo e as organizações precisam estar preparadas para se adaptar às mudanças a fim de se manterem competitivas. Data O Mesh é uma maneira de eliminar os silos de sistemas de arquitetura monolítica pesados e descentralizar o data para obter responsabilidade e escalabilidade de ponta a ponta. A questão é se o Data Mesh é adequado para sua empresa - ou não, ou ainda não - é a questão.
