NOTÍCIAS / CONSULTORIA DE DADOS
28 de outubro de 2020
As plataformas Data revolucionaram a forma como as marcas armazenam, analisam e usam o data - mas para usá-las de forma mais eficiente, elas precisam começar a incorporar o data governance como código, escrevem Justine Nerce, Diretora de Consultoria do Data, e Jean-Baptiste Charruey, Gerente do Data Engineering, no Artefact.
À medida que as economias globais começam a se recuperar do choque inicial do coronavírus, podemos esperar um período de consolidação e reavaliação por parte das empresas. No entanto, a necessidade de inovação não está diminuindo, mesmo que os orçamentos estejam apertados. O lançamento de novos produtos e serviços ainda é responsável por mais de 25% da receita e dos lucros totais.
A inovação precisa ser orientada por data preciso e de alta qualidade. No entanto, para que isso seja possível, as empresas precisam de uma base de facilmente acessível, documentado e padronizado data para utilizar. Os ciclos de desenvolvimento de novos produtos e serviços estão se tornando mais curtos e mais competitivos, de modo que as organizações precisam evoluir sua abordagem ao data para acompanhar o ritmo.
O surgimento do data platform serviu bem às empresas para acelerar o acesso ao data, especialmente àquelas que buscam criar a próxima geração de soluções de IA. No entanto, está claro que as marcas agora precisam de uma abordagem mais robusta, eficiente e qualitativa para tornar seu caso data platforms agnóstico - sustentável, operacional e dimensionável para qualquer infraestrutura cloud, local ou híbrida.
A ascensão e a queda do data platform
As empresas revolucionam constantemente sua abordagem ao data para obter vantagem no mercado. Ao longo das décadas, os armazéns de data - grandes repositórios de data filtrado - deram lugar a lagos de data - vastos depósitos centralizados de data bruto não refinado. No entanto, esses enormes depósitos de data se mostraram pesados e difíceis de controlar. Os prazos de entrega aumentaram, pois não havia um processo claro e ágil para agilizar o desenvolvimento.
Como consequência, o que estamos vendo é a mudança dos ambientes monolíticos de antigamente para uma arquitetura data mais distribuída, baseada em vários data platforms. Esses são conjuntos de software e serviços que cercam um lago data para ajudar a tornar o data mais explorável. Com frequência, as organizações estão criando vários data platforms para cada domínio de negócios e para cada novo projeto. Isso proporciona às equipes de desenvolvimento acesso rápido ao data e aos insights de que precisam para criar novos valores comerciais que atendam às suas necessidades atuais.
No entanto, com a descentralização traz consigo a fragmentação e a duplicação. Muitas empresas dedicam grandes quantidades de tempo e recursos para construir um data platform para um ambiente específico. Em seguida, precisam fazer tudo de novo para o próximo projeto ou caso de uso, com discrepâncias significativas, dependendo do conhecimento técnico da equipe. Os custos são multiplicados várias vezes, pois as equipes basicamente começam do zero sempre que um novo projeto é iniciado.
Grande parte do trabalho mais valioso que as empresas estão fazendo hoje - inclusive em torno do artificial intelligence - é interdepartamental e interdomínio. O data de alta qualidade precisa ser compartilhado entre as equipes e os diferentes data platforms para atingir todo o seu potencial, mas como manter a qualidade quando o data está sujeito a uma gama de políticas conflitantes? É preciso encontrar um meio-termo entre dar às equipes a propriedade local do data para personalizar e criar, e a padronização da abordagem para construir uma base tecnológica sólida.
Digite a malha data
Sem algum tecido de conexão entre os diferentes domínios, o data platforms não conseguirá oferecer a qualidade data e a eficiência de custo que as marcas precisam para um desenvolvimento rápido. Felizmente, elas têm uma maneira de evoluir sua abordagem. Eles devem evoluir sua arquitetura data de uma coleção díspar de data platforms para o que Zhamak Dehghani define como uma ‘malha data’.
Uma malha de data é uma arquitetura em que data platforms distribuídos, de propriedade de equipes multifuncionais independentes, são conectados por meio de uma ‘malha’ de políticas, governança e ferramentas comuns. Essa abordagem traz flexibilidade e resistência ao data platforms, definindo uma base compartilhada e, ao mesmo tempo, dando liberdade às equipes para personalizar seu próprio domínio.
Essa abordagem transforma um data platform de um projeto único para um ativo de longo prazo, O senhor pode fazer isso com a rede data, eliminando a duplicação de trabalho e a drenagem desnecessária de recursos. No entanto, a desvantagem da malha data é que as equipes individuais precisam fazer muito trabalho para garantir que a industrialização seja concluída. Isso pode consumir muito tempo, com um resultado que está longe de ser perfeito. É fundamental ter um modelo que atenda a todos os requisitos para criar uma solução pronta para a produção. No entanto, que forma esse modelo deve assumir?
O principal componente é um conjunto de códigos comuns que se aplicam a todos os data platforms. Essa ‘sentinela do data’ é uma combinação de soluções que facilitam o tratamento e a análise do data e a transição para a industrialização. Sua função é supervisionar e agilizar todos os fluxos do data, como a coleta do metadata e a limpeza, por meio do desenvolvimento de módulos relacionados à qualidade e à documentação do data.
Uma sentinela data libera as equipes e os especialistas data das tarefas mundanas e repetitivas do gerenciamento data. Em vez disso, eles podem concentrar-se em tarefas mais estratégicas e inovadoras que criam um novo valor para a empresa.
No centro do data sentinela, o data governance como código deve ser firmemente incorporado ao projeto da plataforma e continuado a cada novo caso de uso. Graças ao data governance como código, o data é, desde o início, “próprio”, de alta qualidade, documentado, protegido e em conformidade, além de ser facilmente acessível por meio de modelos data em toda a organização.
Tornar a inovação comum
As plataformas Data devem ser produtos em evolução, destinado à ativação do data e ao rápido valor comercial. Quando mutualizado em diferentes casos de uso e requisitos, eles tornam a inovação e a invenção mais rápidas e econômicas. De fato, a mutualização de serviços pode reduzir a velocidade de implementação em 40%, ajudando os departamentos a gerar valor ao oferecer a qualidade e a variedade data necessárias para seus casos de uso.
As empresas têm um fluxo constante de novos casos de uso e produtos a serem desenvolvidos, especialmente no clima atual. Uma abordagem mutualizada de data governance como código oferece um processo de ponta a ponta no qual elas podem realmente industrializar esses casos de uso. O data preciso e de alta qualidade pode ser facilmente compartilhado entre projetos e equipes por meio de uma solução robusta e altamente modelada. O senhor não perde tempo quando precisa de informações para um novo produto.
A tecnologia por si só não é suficiente. Para que o data platform funcione, o senhor precisa adotar uma abordagem que seja iterativa e transversal. Essa é a única maneira de tornar a inovação comum em sua empresa.
Publicado pela primeira vez pela ITPortal.com
