Data Mesh: como a descentralização democratiza o uso do data em toda a empresa

Primeiro, uma rápida recapitulação de quem, o que e por que o Malha dataA noção foi concebida por Zhamak Dehghani, da ThoughtWorks, como uma forma de melhorar a acessibilidade do data e simplificar a organização em estruturas data centralizadas e monolíticas. A explosão do data durante a pandemia da COVID-19 acentuou essas necessidades, e o data mesh evoluiu de um conceito para um modelo de arquitetura distribuída para tornar o data utilizável por todos em uma organização.

Johan Picard do Google tem algumas ideias: “Parte disso tem a ver com a simples maturidade do data. Durante vinte anos, as empresas criaram e centralizaram seu data em plataformas, lagos de data, armazéns de data. Foi isso que possibilitou que elas explorassem seu data. Mas os domínios tiveram que esperar na fila para acessar esse data, causando atrasos e gargalos. 

“Alguns chegaram ao ponto de criar seus próprios departamentos de TI paralelos, porque as equipes de TI entendem a tecnologia, mas não a qualidade do data. E o inverso é verdadeiro para o domínio. Mas agora, com o cloud, as tecnologias estão evoluindo e permitindo que o data seja descentralizado para os domínios. É importante lembrar que essa é uma abordagem inspiradora. Cada empresa é diferente e deve buscar a descentralização à sua maneira, levando em conta seu próprio contexto, velocidade e ambições.”

Em Orange, Brice Miranda experimentou esse fenômeno de concentração e fragmentação do data. “Nosso histórico data platform não era orientado para o autoatendimento, então muitas de nossas equipes criaram seu próprio mini data platforms; acabamos com 40 a 60.” A operadora criou uma plataforma para atender suas equipes de domínio com o Google Cloud Platform. “E agora, estamos entrando na lógica da democracia do data”.

Antes de criar sua empresa no final deste ano, Jean-Christophe Brun foi CTO do Carrefour. “Em 2015, sabíamos que precisávamos transformar nossa visão do data para centralizar nossa atividade de varejo em torno do data. Até 2018, estávamos construindo uma plataforma local para nos tornarmos mais centrados no data. E, em 2018, nos tornamos parceiros do Google para fazer mais com algoritmos. Mesmo antes de conhecermos a noção de malha data, nosso objetivo era multiplicar os usos comerciais. O que eu gosto na malha data é que ela nos permite formalizar coisas que não tínhamos padronizado, para colocar palavras por trás dos princípios”.”    

Jean-Noel Lucas na L'Oréal iniciou o mesmo processo há três anos. Jean-Paul Agon, então CEO, definiu o rumo: ser o campeão da tecnologia da beleza. Para isso, precisávamos orquestrar o data e romper os silos funcionais; identificar os administradores do data, concordar com uma linguagem comum e estruturar o data, para criar um sistema de referência global. E isso exigiu recursos: “O senhor precisa ganhar tempo para disponibilizar o data. Avaliamos a dívida de governança (dois ou três anos) e estimamos os recursos necessários para gerenciar a empresa em torno do data. Dedicamos uma equipe de 100 pessoas para preparar o data. Trouxemos novas habilidades para o grupo. Também fizemos muitas evangelizações repetidas para manter o orçamento que nos permite fazer esse esforço. Porque os L'Oréaliens não são conceituais. Temos que traduzir o conceito em termos concretos”.

A L'Oréal lista 50 casos de uso que utilizam o produto data. Desde o gerenciamento do portfólio de produtos até a melhoria da distribuição e o gerenciamento de estoque. “Com um data como estratégia de produto, o data é distribuído para os diferentes domínios e sua preparação é confiada aos especialistas de cada marca, resolvendo o problema do gargalo”, conclui Jean-Noel.

Embora a Orange tenha um estúdio de data para consultoria e a Collibra para pesquisar o data, isso não é suficiente: “Quando fazemos depósitos de data, acabamos com duplicatas e isso gera problemas. Se o senhor solicitar o equipamento de banda larga dos clientes, obterá 800 respostas’. O cliente está equipado com banda fixa, móvel ou fibra? A ferramenta não sabe. O cliente deu seu consentimento? Também não sabemos isso. Não existe uma única fonte de verdade ou data que seja confiável. Como resultado, estão sendo realizados POCs sobre essas questões (”O que é um cliente da Orange?“, ”O que é permissão?“).

A Orange está um pouco à frente da L'Oréal, onde 40% do data está disponível no cloud. “Como pré-requisito, o data deve estar disponível e detectável”, diz Jean-Noel. “Depois, precisamos subir os domínios na cadeia de valor do data, com o consumo do data como critério de desempenho (KPI), para nos aproximarmos dos casos de uso comercial. Por trás disso está o desafio cultural do data, de fazer com que as pessoas adotem soluções mais padronizadas e vejam o valor real.”

“No Carrefour, optamos por responsabilizar os proprietários de nossos produtos data”, explica Jean-Christophe. “Eles entendem o uso do data e garantem sua comunicação: ‘Os produtos Data devem ser usados. Os proprietários de produtos Data devem estar interessados no uso de seus produtos. No passado, o departamento de inteligência comercial se reportava aos domínios. Mas agora, os próprios domínios estão fazendo isso, com o apoio do BI. Sessenta por cento das pessoas treinadas pelo Carrefour no data vieram dos domínios.’

É um processo de ida e volta, explica Johan Picard, entre a análise e as operações: “O data deve subir para a análise e voltar para as operações. No passado, as bases do data não conseguiam integrar a análise, por isso criamos o lago do data. No novo paradigma, estamos mais próximos das fontes do data e temos uma melhor compreensão dele. Como resultado, não precisamos mais separar operações e análises. Alguns de nossos clientes os colocaram no mesmo patamar. Os especialistas em SAP estão lado a lado com os especialistas em data. Brice Miranda concorda e acrescenta: “Temos que eliminar as antigas fronteiras entre análise e operações e ir até a fonte.”

Para Jean-Noel Lucas, “A equipe operacional deve entender em que data eles confiam (pensando em seus processos) e se esforçar para melhorar a qualidade do data.” Por exemplo, para abastecer as lojas e gerenciar melhor o estoque, a L'Oréal adicionou uma camada ao PCM. “Queremos ‘API-ze’ nossos sistemas.” A L'Oréal trabalhou extensivamente no produto data para disponibilizar uma visão 360º para varejistas e consumidores. Para gerenciar melhor sua cadeia de suprimentos, a L'Oréal precisa segmentar melhor seus catálogos. E a nova organização permite ser mais reativa e fazer pedidos de produção de produtos semanalmente, quando a demanda aumenta.

O Carrefour foi mais longe na convergência da análise e das operações: nesse novo mundo, a análise se torna uma ferramenta operacional em tempo real, no mesmo nível de serviço das operações. “A ficha do produto deve registrar todos os data, inclusive os números de vendas. Isso permite pontuações de substituição entre produtos, caso um produto esteja faltando. Isso era impensável há três anos”, conclui Jean-Christophe.