![\"Image\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2022\/04\/coggia-pascal-management-team-artefact-300x300.jpeg\")
O que \u00e9 a malha Data? Qual \u00e9 a diferen\u00e7a em rela\u00e7\u00e3o a um lago data?<\/h2><\/div>O arquiteto original do termo \u00e9 Zhamak Dehghani, um Thoughtworks<\/a> consultor e divulgador da descentraliza\u00e7\u00e3o do data. Em termos simples, o Data Mesh \u00e9 uma abordagem de arquitetura distribu\u00edda para gerenciar o data anal\u00edtico. Ela permite que os usu\u00e1rios finais acessem e consultem facilmente o data onde ele reside, sem primeiro transport\u00e1-lo para um lago ou dep\u00f3sito de data. Uma estrat\u00e9gia descentralizada do Data Mesh trata o data como um produto e fornece \u00e0s equipes espec\u00edficas do dom\u00ednio a propriedade do data por meio de uma plataforma de autoatendimento que tem o data governance incorporado.<\/p>\n<\/div>Os lagos Data s\u00e3o \u00e1reas de armazenamento minimamente controladas para o data de dom\u00ednio bruto. Eles foram criados para fornecer acesso ilimitado ao data em uma tentativa de evitar o gargalo dos armaz\u00e9ns data centralizados e rigidamente controlados, mas eles tendem a sofrer com problemas de baixa qualidade e descoberta do data. Alguns projetos de lago do data governados abordaram esses problemas com um m\u00ednimo de sucesso, mas, como resultado, tendem a reduzir a acessibilidade relativa do data. O Data Mesh tem como objetivo resolver esses desafios por meio da descentraliza\u00e7\u00e3o, evitando assim totalmente os chamados \u201cp\u00e2ntanos do data\u201d.<\/p>\n<\/div>
O que significa \u201cdata como um produto\u201d?<\/h2><\/div>Penso nisso um pouco como a loja de aplicativos. O senhor simplesmente baixa um aplicativo quando quer fazer outra coisa. Por que n\u00e3o deveria ser assim com o data? Pense nisso estruturalmente: quais s\u00e3o os componentes de um produto data?<\/p>\n<\/div>
- <\/i><\/span>\n
Ele precisa ser detect\u00e1vel: as pessoas precisam ser capazes de encontrar o produto data;<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Ele precisa ser endere\u00e7\u00e1vel - as pessoas precisam saber como interagir com ele;<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Ele precisa ser autodescritivo;<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Ele precisa ser seguro e confi\u00e1vel; precisa oferecer interoperabilidade.<\/p>\n<\/div><\/li><\/ul>
Tudo isso sugere que um produto data est\u00e1 em um tecido que permite sua intera\u00e7\u00e3o. Ele n\u00e3o est\u00e1 isolado. O senhor n\u00e3o pode simplesmente juntar alguns data, coloc\u00e1-los em um bucket S3 e cham\u00e1-los de produto data. O senhor precisa envolver a propriedade e a governan\u00e7a em torno dele.<\/p>\n<\/div>
Quais s\u00e3o os benef\u00edcios para as empresas?<\/h2><\/div>H\u00e1 muitos benef\u00edcios que o Data Mesh pode oferecer \u00e0s organiza\u00e7\u00f5es e \u00e0s equipes de dom\u00ednio multifuncional:<\/p>\n<\/div>
- <\/i><\/span>\n
Ao descentralizar o data, ele aumenta a velocidade e a acessibilidade, de modo que o data \u00e9 muito mais detect\u00e1vel e consum\u00edvel para todos os usu\u00e1rios da empresa.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Como as equipes integram seu pr\u00f3prio data e gerenciam seus pr\u00f3prios produtos data, elas podem visualiz\u00e1-lo e operacionaliz\u00e1-lo como acharem melhor, o que impulsiona a inova\u00e7\u00e3o.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
A decis\u00e3o e o tempo de coloca\u00e7\u00e3o no mercado ser\u00e3o acelerados, o que gerar\u00e1 maior receita e melhor envolvimento e reten\u00e7\u00e3o do cliente - e, por fim, reduzir\u00e1 os custos.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
E a agilidade dos neg\u00f3cios em geral \u00e9 aprimorada com isso, pois os recursos do produto s\u00e3o configurados apenas quando necess\u00e1rio, e n\u00e3o em uma base empresarial.<\/p>\n<\/div><\/li><\/ul>
Quais s\u00e3o os desafios para a ado\u00e7\u00e3o do Data Mesh?<\/h2><\/div>\u00c9 importante lembrar que a malha Data n\u00e3o requer apenas um tecnol\u00f3gico<\/em> turno, \u00e9 necess\u00e1rio um mentalidade<\/em> mudan\u00e7a. As organiza\u00e7\u00f5es precisam aprender a pensar no data como um produto, no data governance<\/a> e propriedade. Mudar as empresas de propriedade centralizada para descentralizada e mudar as organiza\u00e7\u00f5es de pipelines para produtos, em que os dom\u00ednios data s\u00e3o a preocupa\u00e7\u00e3o de primeira classe, vai exigir algum trabalho.<\/p>\nAlgumas outras quest\u00f5es incluem as citadas por Deloitte<\/a>:<\/p>\n<\/div>- <\/i><\/span>\n
Duplica\u00e7\u00e3o do data entre dom\u00ednios diferentes: quando o data \u00e9 redirecionado para atender \u00e0s necessidades de um novo dom\u00ednio diferente do dom\u00ednio de origem, surgem redund\u00e2ncias que podem ter um impacto potencial na utiliza\u00e7\u00e3o de recursos e no custo do gerenciamento do data.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Implementa\u00e7\u00e3o do data governance federado e conformidade com a qualidade: com a coexist\u00eancia de produtos e pipelines independentes do data, os princ\u00edpios de qualidade podem ser facilmente ignorados, resultando em um extenso d\u00e9bito t\u00e9cnico. Essas responsabilidades e princ\u00edpios devem ser identificados e federados adequadamente.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
\u00c9 necess\u00e1rio um gerenciamento de mudan\u00e7as significativo: para adotar opera\u00e7\u00f5es descentralizadas do Data Mesh, ser\u00e3o necess\u00e1rios esfor\u00e7os substanciais de gerenciamento de mudan\u00e7as.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
As escolhas tecnol\u00f3gicas determinam os recursos gerais do data platform. Portanto, as escolhas de tecnologia que s\u00e3o padronizadas em toda a organiza\u00e7\u00e3o e preparadas para o futuro para todos os recursos necess\u00e1rios do data devem ser abordadas na pr\u00e1tica. Decis\u00f5es tecnol\u00f3gicas inadequadas podem facilmente resultar em produtos data que aumentam a d\u00edvida t\u00e9cnica ao longo do tempo.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
O Data Mesh n\u00e3o foi projetado para consolidar todos os data da empresa em um \u00fanico relat\u00f3rio: Embora o objetivo principal seja a acessibilidade do data, deve haver liberdade dentro de uma estrutura. No Data Mesh, a propriedade do data e as habilidades do data s\u00e3o distribu\u00eddas entre as equipes de dom\u00ednio multifuncional, de modo que os elementos-chave, como uma estrutura metadata consistente e plataformas comuns, continuam sendo parte de uma implementa\u00e7\u00e3o bem-sucedida do Data Mesh.<\/p>\n<\/div><\/li><\/ul>
Quando uma empresa est\u00e1 pronta para adotar uma estrat\u00e9gia de malha Data?<\/h2><\/div>Depende do grau de prepara\u00e7\u00e3o da empresa. Mas tamb\u00e9m depende de com quem o senhor est\u00e1 falando. Um diretor de Data que construiu uma organiza\u00e7\u00e3o central enorme pode n\u00e3o estar pronto para o Data Mesh porque precisar\u00e1 primeiro estabelecer como federar essas fun\u00e7\u00f5es. Mas a maioria dos l\u00edderes de neg\u00f3cios entende a necessidade de democratizar os ativos de data em dire\u00e7\u00e3o \u00e0s bordas e aos neg\u00f3cios, porque muitas vezes se sentem frustrados com a abordagem centralizada.<\/p>\n<\/div>
O senhor tamb\u00e9m precisa saber o que deve acontecer em n\u00edvel de engenharia para poder controlar e governar a malha, pois se n\u00e3o a definir corretamente, ela pode se transformar em um faroeste. Portanto, h\u00e1 uma s\u00e9rie de etapas a serem seguidas.<\/p>\n<\/div>
- <\/i><\/span>\n
A primeira etapa \u00e9 realizar uma an\u00e1lise da arquitetura para definir os componentes principais de uma poss\u00edvel arquitetura de malha Data que a empresa j\u00e1 possui e como eles podem ser aproveitados para come\u00e7ar a capacitar as pessoas a formar equipes de produtos.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Existe uma equipe centralizada que possa criar a plataforma sobre a qual o Data Mesh ser\u00e1 constru\u00eddo? Essa plataforma tem que estar presente desde o in\u00edcio. A infraestrutura \u00e9 o que permite a capacidade de distribui\u00e7\u00e3o.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Garantir que o projeto tenha o apoio e o envolvimento da empresa e das partes interessadas para que seja bem-sucedido em todos os n\u00edveis.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
O projeto tem o investimento necess\u00e1rio para construir o Data Mesh, bem como os recursos para gerenci\u00e1-lo? Porque ambos s\u00e3o essenciais.<\/p>\n<\/div><\/li>
- <\/i><\/span>\n
Depois que essas etapas forem conclu\u00eddas, \u00e9 hora de come\u00e7ar a formar as equipes de produtos.<\/p>\n<\/div><\/li><\/ul>
A transi\u00e7\u00e3o para a malha Data \u00e9 uma jornada incremental porque todos os elementos que o senhor j\u00e1 tem - lagos data, armaz\u00e9ns data - precisam se conectar \u00e0 malha Data, n\u00e3o podem ser descartados. As pessoas v\u00e3o querer essas informa\u00e7\u00f5es, o valor e a governan\u00e7a que j\u00e1 est\u00e3o envolvidos nelas.<\/p>\n<\/div>
Que tipos de empresas est\u00e3o implementando com sucesso o Data Mesh?<\/h2><\/div>No momento, o Data Mesh est\u00e1 sendo adotado com sucesso no setor de servi\u00e7os financeiros. ING<\/a> \u00e9 um bom exemplo. Faz sentido para os bancos usarem o Data Mesh - ele suporta data governance mais forte, portanto, oferece maior seguran\u00e7a. Com o Data Mesh, os sistemas de detec\u00e7\u00e3o de fraudes n\u00e3o precisam se conectar a outros sistemas e extrair o mesmo data todos os dias. Em vez disso, as organiza\u00e7\u00f5es podem criar produtos data focados no dom\u00ednio que seus especialistas em detec\u00e7\u00e3o de anomalias podem usar para criar modelos e resultados melhores.<\/p>\n<\/div>
O arquiteto original do termo \u00e9 Zhamak Dehghani, um Thoughtworks<\/a> consultor e divulgador da descentraliza\u00e7\u00e3o do data. Em termos simples, o Data Mesh \u00e9 uma abordagem de arquitetura distribu\u00edda para gerenciar o data anal\u00edtico. Ela permite que os usu\u00e1rios finais acessem e consultem facilmente o data onde ele reside, sem primeiro transport\u00e1-lo para um lago ou dep\u00f3sito de data. Uma estrat\u00e9gia descentralizada do Data Mesh trata o data como um produto e fornece \u00e0s equipes espec\u00edficas do dom\u00ednio a propriedade do data por meio de uma plataforma de autoatendimento que tem o data governance incorporado.<\/p>\n<\/div> Os lagos Data s\u00e3o \u00e1reas de armazenamento minimamente controladas para o data de dom\u00ednio bruto. Eles foram criados para fornecer acesso ilimitado ao data em uma tentativa de evitar o gargalo dos armaz\u00e9ns data centralizados e rigidamente controlados, mas eles tendem a sofrer com problemas de baixa qualidade e descoberta do data. Alguns projetos de lago do data governados abordaram esses problemas com um m\u00ednimo de sucesso, mas, como resultado, tendem a reduzir a acessibilidade relativa do data. O Data Mesh tem como objetivo resolver esses desafios por meio da descentraliza\u00e7\u00e3o, evitando assim totalmente os chamados \u201cp\u00e2ntanos do data\u201d.<\/p>\n<\/div> Penso nisso um pouco como a loja de aplicativos. O senhor simplesmente baixa um aplicativo quando quer fazer outra coisa. Por que n\u00e3o deveria ser assim com o data? Pense nisso estruturalmente: quais s\u00e3o os componentes de um produto data?<\/p>\n<\/div> Ele precisa ser detect\u00e1vel: as pessoas precisam ser capazes de encontrar o produto data;<\/p>\n<\/div><\/li> Ele precisa ser endere\u00e7\u00e1vel - as pessoas precisam saber como interagir com ele;<\/p>\n<\/div><\/li> Ele precisa ser autodescritivo;<\/p>\n<\/div><\/li> Ele precisa ser seguro e confi\u00e1vel; precisa oferecer interoperabilidade.<\/p>\n<\/div><\/li><\/ul> Tudo isso sugere que um produto data est\u00e1 em um tecido que permite sua intera\u00e7\u00e3o. Ele n\u00e3o est\u00e1 isolado. O senhor n\u00e3o pode simplesmente juntar alguns data, coloc\u00e1-los em um bucket S3 e cham\u00e1-los de produto data. O senhor precisa envolver a propriedade e a governan\u00e7a em torno dele.<\/p>\n<\/div> H\u00e1 muitos benef\u00edcios que o Data Mesh pode oferecer \u00e0s organiza\u00e7\u00f5es e \u00e0s equipes de dom\u00ednio multifuncional:<\/p>\n<\/div> Ao descentralizar o data, ele aumenta a velocidade e a acessibilidade, de modo que o data \u00e9 muito mais detect\u00e1vel e consum\u00edvel para todos os usu\u00e1rios da empresa.<\/p>\n<\/div><\/li> Como as equipes integram seu pr\u00f3prio data e gerenciam seus pr\u00f3prios produtos data, elas podem visualiz\u00e1-lo e operacionaliz\u00e1-lo como acharem melhor, o que impulsiona a inova\u00e7\u00e3o.<\/p>\n<\/div><\/li> A decis\u00e3o e o tempo de coloca\u00e7\u00e3o no mercado ser\u00e3o acelerados, o que gerar\u00e1 maior receita e melhor envolvimento e reten\u00e7\u00e3o do cliente - e, por fim, reduzir\u00e1 os custos.<\/p>\n<\/div><\/li> E a agilidade dos neg\u00f3cios em geral \u00e9 aprimorada com isso, pois os recursos do produto s\u00e3o configurados apenas quando necess\u00e1rio, e n\u00e3o em uma base empresarial.<\/p>\n<\/div><\/li><\/ul> \u00c9 importante lembrar que a malha Data n\u00e3o requer apenas um tecnol\u00f3gico<\/em> turno, \u00e9 necess\u00e1rio um mentalidade<\/em> mudan\u00e7a. As organiza\u00e7\u00f5es precisam aprender a pensar no data como um produto, no data governance<\/a> e propriedade. Mudar as empresas de propriedade centralizada para descentralizada e mudar as organiza\u00e7\u00f5es de pipelines para produtos, em que os dom\u00ednios data s\u00e3o a preocupa\u00e7\u00e3o de primeira classe, vai exigir algum trabalho.<\/p>\n Algumas outras quest\u00f5es incluem as citadas por Deloitte<\/a>:<\/p>\n<\/div> Duplica\u00e7\u00e3o do data entre dom\u00ednios diferentes: quando o data \u00e9 redirecionado para atender \u00e0s necessidades de um novo dom\u00ednio diferente do dom\u00ednio de origem, surgem redund\u00e2ncias que podem ter um impacto potencial na utiliza\u00e7\u00e3o de recursos e no custo do gerenciamento do data.<\/p>\n<\/div><\/li> Implementa\u00e7\u00e3o do data governance federado e conformidade com a qualidade: com a coexist\u00eancia de produtos e pipelines independentes do data, os princ\u00edpios de qualidade podem ser facilmente ignorados, resultando em um extenso d\u00e9bito t\u00e9cnico. Essas responsabilidades e princ\u00edpios devem ser identificados e federados adequadamente.<\/p>\n<\/div><\/li> \u00c9 necess\u00e1rio um gerenciamento de mudan\u00e7as significativo: para adotar opera\u00e7\u00f5es descentralizadas do Data Mesh, ser\u00e3o necess\u00e1rios esfor\u00e7os substanciais de gerenciamento de mudan\u00e7as.<\/p>\n<\/div><\/li> As escolhas tecnol\u00f3gicas determinam os recursos gerais do data platform. Portanto, as escolhas de tecnologia que s\u00e3o padronizadas em toda a organiza\u00e7\u00e3o e preparadas para o futuro para todos os recursos necess\u00e1rios do data devem ser abordadas na pr\u00e1tica. Decis\u00f5es tecnol\u00f3gicas inadequadas podem facilmente resultar em produtos data que aumentam a d\u00edvida t\u00e9cnica ao longo do tempo.<\/p>\n<\/div><\/li> O Data Mesh n\u00e3o foi projetado para consolidar todos os data da empresa em um \u00fanico relat\u00f3rio: Embora o objetivo principal seja a acessibilidade do data, deve haver liberdade dentro de uma estrutura. No Data Mesh, a propriedade do data e as habilidades do data s\u00e3o distribu\u00eddas entre as equipes de dom\u00ednio multifuncional, de modo que os elementos-chave, como uma estrutura metadata consistente e plataformas comuns, continuam sendo parte de uma implementa\u00e7\u00e3o bem-sucedida do Data Mesh.<\/p>\n<\/div><\/li><\/ul> Depende do grau de prepara\u00e7\u00e3o da empresa. Mas tamb\u00e9m depende de com quem o senhor est\u00e1 falando. Um diretor de Data que construiu uma organiza\u00e7\u00e3o central enorme pode n\u00e3o estar pronto para o Data Mesh porque precisar\u00e1 primeiro estabelecer como federar essas fun\u00e7\u00f5es. Mas a maioria dos l\u00edderes de neg\u00f3cios entende a necessidade de democratizar os ativos de data em dire\u00e7\u00e3o \u00e0s bordas e aos neg\u00f3cios, porque muitas vezes se sentem frustrados com a abordagem centralizada.<\/p>\n<\/div> O senhor tamb\u00e9m precisa saber o que deve acontecer em n\u00edvel de engenharia para poder controlar e governar a malha, pois se n\u00e3o a definir corretamente, ela pode se transformar em um faroeste. Portanto, h\u00e1 uma s\u00e9rie de etapas a serem seguidas.<\/p>\n<\/div> A primeira etapa \u00e9 realizar uma an\u00e1lise da arquitetura para definir os componentes principais de uma poss\u00edvel arquitetura de malha Data que a empresa j\u00e1 possui e como eles podem ser aproveitados para come\u00e7ar a capacitar as pessoas a formar equipes de produtos.<\/p>\n<\/div><\/li> Existe uma equipe centralizada que possa criar a plataforma sobre a qual o Data Mesh ser\u00e1 constru\u00eddo? Essa plataforma tem que estar presente desde o in\u00edcio. A infraestrutura \u00e9 o que permite a capacidade de distribui\u00e7\u00e3o.<\/p>\n<\/div><\/li> Garantir que o projeto tenha o apoio e o envolvimento da empresa e das partes interessadas para que seja bem-sucedido em todos os n\u00edveis.<\/p>\n<\/div><\/li> O projeto tem o investimento necess\u00e1rio para construir o Data Mesh, bem como os recursos para gerenci\u00e1-lo? Porque ambos s\u00e3o essenciais.<\/p>\n<\/div><\/li> Depois que essas etapas forem conclu\u00eddas, \u00e9 hora de come\u00e7ar a formar as equipes de produtos.<\/p>\n<\/div><\/li><\/ul> A transi\u00e7\u00e3o para a malha Data \u00e9 uma jornada incremental porque todos os elementos que o senhor j\u00e1 tem - lagos data, armaz\u00e9ns data - precisam se conectar \u00e0 malha Data, n\u00e3o podem ser descartados. As pessoas v\u00e3o querer essas informa\u00e7\u00f5es, o valor e a governan\u00e7a que j\u00e1 est\u00e3o envolvidos nelas.<\/p>\n<\/div> No momento, o Data Mesh est\u00e1 sendo adotado com sucesso no setor de servi\u00e7os financeiros. ING<\/a> \u00e9 um bom exemplo. Faz sentido para os bancos usarem o Data Mesh - ele suporta data governance mais forte, portanto, oferece maior seguran\u00e7a. Com o Data Mesh, os sistemas de detec\u00e7\u00e3o de fraudes n\u00e3o precisam se conectar a outros sistemas e extrair o mesmo data todos os dias. Em vez disso, as organiza\u00e7\u00f5es podem criar produtos data focados no dom\u00ednio que seus especialistas em detec\u00e7\u00e3o de anomalias podem usar para criar modelos e resultados melhores.<\/p>\n<\/div>O que significa \u201cdata como um produto\u201d?<\/h2><\/div>
Quais s\u00e3o os benef\u00edcios para as empresas?<\/h2><\/div>
Quais s\u00e3o os desafios para a ado\u00e7\u00e3o do Data Mesh?<\/h2><\/div>
Quando uma empresa est\u00e1 pronta para adotar uma estrat\u00e9gia de malha Data?<\/h2><\/div>
Que tipos de empresas est\u00e3o implementando com sucesso o Data Mesh?<\/h2><\/div>