Malha Data: Princípios, promessas e realidades de um modelo de gerenciamento descentralizado data

O Data mesh é um novo modelo organizacional e tecnológico para o gerenciamento descentralizado do data. Uma abordagem de arquitetura distribuída para gerenciar o data analítico permite que os usuários acessem e consultem facilmente o data onde ele reside, sem primeiro transportá-lo para um lago ou depósito de data. O Data mesh é baseado em quatro princípios fundamentais:

O workshop foi dividido em três partes:

1. Valor comercial: Por que adotar uma abordagem de produto/malha? Como ela atende aos objetivos comerciais da empresa?
2. Abordagem de implementação: Como obter sucesso? Quais etapas devem ser seguidas e qual modelo organizacional deve ser usado?
3. Pilha de tecnologia: Por que escolher o Google como uma solução tecnológica?

Para iniciar a discussão sobre o valor comercial, Justine Nerce explicou: “Um dos melhores motivos para adotar uma abordagem de produto/malha é que ela elimina dois círculos viciosos. O primeiro é ‘reinventar a roda’ cada vez que surge um novo uso para o data: uma nova equipe é formada e cria seu próprio pipeline de data para atender às suas necessidades específicas. O resultado? Zero compartilhamento, zero reutilização para as tecnologias escolhidas. A segunda é a ‘construção de um monólito’, quando um novo uso do data acaba no backlog de uma equipe central do data e, em seguida, é entregue a equipes especializadas que não são do data e que realizam uma coleta massiva do data, transformação genérica e desenvolvimento de casos de uso, com o risco de não atender às necessidades do usuário.”

Mas com uma abordagem de produto, o círculo vicioso se transforma em um círculo virtuoso. Quando surge um novo uso para o data, em vez de construir algo novo, a malha do data procura o que já existe e pode ser reutilizado. Ele identifica os domínios já encarregados de lidar com determinados assuntos e procura os produtos existentes do data que podem acelerar a criação e o desenvolvimento de novas necessidades, seja como estão ou em processos iterativos para criar produtos novos e personalizados. E todos esses produtos podem ser publicados no catálogo da empresa.

Os produtos Data já existem há muito tempo nas empresas, mas na malha data, os usos e as qualificações do data são essencialmente diferentes, explica Killian Gaumont:

“O produto data de hoje é uma combinação do data disponibilizado à empresa para uso comercial e de recursos específicos que facilitam o uso e a reutilização do data”.

Para ser incluído na malha data, um produto data deve ser:

1. Administrado por uma equipe de proprietários dedicados;
2. Orientado para o usuário final e amplamente adotado;
3. De qualidade durante todo o seu ciclo de vida;
4. Reutilizável como está ou para a construção de outros produtos;
5. Acessível a todos os usuários;
6. Padronizado para que todos falem o mesmo idioma.

No Artefact, os produtos data são categorizados em três famílias de produtos diferentes. “Há produtos brutos, como as bases data usadas para processos comerciais, que não deixam de ser produtos data”, garante Killian. “Em seguida, há os produtos data enriquecidos com algoritmos personalizados ou recomendações de produtos, como o Interaction 360°. No topo estão os produtos acabados alinhados com o uso, como os painéis de controle. Esses são produtos da linha do consumidor, projetados para criar valor ao vincular o desenvolvimento de produtos à estratégia de negócios.”

Artefact’A abordagem da empresa para a implantação da malha data começa de forma pequena, priorizando os casos de uso e os pontos problemáticos da empresa. Em seguida, são identificados todos os domínios e produtos data necessários para cada caso de uso comercial priorizado (desde o data bruto até os produtos acabados). Uma equipe futura é montada para desenvolver os primeiros produtos e definir padrões. Em seguida, os produtos relacionados a serem desenvolvidos no futuro podem ser identificados.

Há três pré-requisitos para a implementação da malha data. O primeiro: eliminar os silos.

“Para que a malha data seja bem-sucedida, precisamos avançar em direção a um modelo organizacional que rompa os silos entre TI, data e negócios para ter equipes de plataforma compostas por equipes de vários domínios e produtos, em todas as entidades”, diz Killian. “Isso não acontecerá da noite para o dia, obviamente. Mas já começamos a eliminar os silos integrando as equipes comerciais às equipes de TI do data para que as equipes de produto que desenvolvem produtos do data possam trabalhar com mais eficiência.”

O segundo pré-requisito é o proprietário do produto Data, que desempenha um papel fundamental na coordenação da implementação da malha data. O proprietário do produto data tem três missões: projetar, construir e promover os produtos data. As duas primeiras missões são autoexplicativas; a terceira é igualmente importante, pois a força de um produto data está no fato de ser adotado e usado pela empresa. “O proprietário do produto data é responsável por garantir que o produto data seja documentado, compreensível e acessível aos usuários, e que esteja alinhado às necessidades da empresa. Os critérios de sucesso são seus KPIs: uso, desempenho técnico, qualidade do data”, acrescenta Killian.

O último pré-requisito é que a empresa seja capaz de definir de forma clara e contínua seus domínios data e, uma vez que o modelo tenha comprovado seu valor, seja capaz de aumentar a escala.

Essas são as três perguntas mais frequentes feitas pelos clientes que implementam a malha data, juntamente com as recomendações do Artefact para definir domínios com sucesso, medir o sucesso e saber quando é oportuno aumentar a escala.

“A primeira coisa que as equipes de TI e de data precisam para implementar a malha de data é a capacidade de tornar seu data detectável e acessível, publicando-o em um catálogo de data”, começa Amine Mohktari. “Para conseguir isso, o Google tem um primeiro pilar, o Big Query, que permite a criação de conjuntos de data compartilháveis. O segundo pilar, o catálogo propriamente dito, é possibilitado pelo Analytics Hub, que cria links para todos os datasets criados por vários membros da organização ou por seus parceiros, para que os assinantes possam acessá-los facilmente.”

“É importante entender que apenas links para o data são feitos - nunca cópias. Graças a esse sistema, os assinantes podem usar o data como se ele lhes pertencesse, mesmo que ele permaneça em seu local físico original. Isso permanece verdadeiro mesmo quando o senhor tem conjuntos de data armazenados em um cloud diferente”, garante Amine.

A experiência do usuário é um princípio importante do sistema e se reflete em todos os aspectos da malha do data, não apenas facilitando o compartilhamento e a composição do data, mas também mantendo o data permanentemente disponível, independentemente do número de usuários ativos.

No que diz respeito à segurança e à governança do data, o Google tem tudo sob controle com o Dataplex, sua estrutura inteligente de data que ajuda a unificar o data distribuído e a automatizar o gerenciamento e a governança do data nesse data para potencializar a análise em escala. Juntamente com uma estrutura de gerenciamento de identidade e acesso (IAM) para atribuir uma identidade exclusiva a cada consumidor de data, “o Dataplex oferece às empresas um conjunto de pilares técnicos que lhes permite realizar qualquer implementação de governança da maneira mais simples possível”, explica Amine.

“No Google Cloud, nosso objetivo é fornecer aos senhores um data platform sem servidor que permitirá que suas equipes data se concentrem em áreas como processos e casos de uso comercial, onde eles têm valor agregado que ninguém mais pode produzir.”

 O Dataplex do Google oferece aos usuários uma visão de 360° dos produtos data publicados e de sua qualidade

NÃO > Ficar preso a uma visão de projeto em vez de uma visão de produto
DO > Definir a prioridade dos produtos data de acordo com os diferentes usos;

NÃO > Aumentar a escala do novo modelo muito rapidamente
DO > Teste o modelo com um modelo operacional bem definido;

NÃO > Implantar um ecossistema técnico excessivamente complexo
DO > Mantenha a pilha de tecnologia pequena para ter o maior número possível de jogadores.