Autor

Image

Oussama Ahmad

Sócio da Data e consultor digital da Artefact MENA

Autor

Image

Anthony Cassab

Data Diretor de Consultoria da Artefact MENA

Autor

Image

Faisal Najmuddin

1TP18Gerente de marketing da Artefact MENA

Na era digital atual, as organizações têm o desafio de acompanhar o ritmo sem precedentes da geração de data e a infinidade de sistemas empresariais e tecnologias digitais que coletam todos os tipos de data. Isso está associado à necessidade de analisar de forma rápida e eficiente esses grandes volumes de data para gerar insights e inteligência a fim de maximizar seu valor comercial. Como resultado, o big data platforms tornou-se uma base essencial para que as organizações implementem com eficiência soluções data que proporcionem decisões de negócios data-driven oportunas e vantagem competitiva.

“As soluções de análise e inteligência Data estão se proliferando nas organizações para possibilitar o crescimento dos negócios. As organizações devem criar grandes data platforms como bases sólidas para implementar soluções data em escala. Esses data platforms devem ser criados especificamente para os negócios, pois são tão bons quanto os insights e a inteligência de negócios que possibilitam; e devem ser criados para serem preparados para o futuro, beneficiando-se dos constantes avanços nos serviços e nas tecnologias de infraestrutura data.”
Oussama Ahmad, Data Parceiro de consultoria da Artefact

Principais objetivos da plataforma Big Data

O objetivo do Big data platforms é acabar com os silos data e integrar os diferentes tipos de fontes data necessárias para implementar soluções avançadas de análise e inteligência data. Elas fornecem uma infraestrutura dimensionável e flexível para coletar, armazenar e analisar grandes volumes de data de várias fontes. Essas plataformas devem aproveitar os melhores serviços e tecnologias de gerenciamento de data da categoria e cumprir três objetivos principais:

  • Centralizar fontes data: Um grande data platform deve acabar com os silos data ao ingerir e armazenar automaticamente diferentes tipos e tamanhos de fontes data de sistemas data corporativos e fontes data de terceiros. Ele deve se tornar o repositório central de data, fornecendo uma única fonte de verdade para todas as fontes de data necessárias para as soluções de análise de data.

  • Habilite as soluções analíticas do data: Um big data platform deve fornecer uma infraestrutura robusta para desenvolver, executar e implantar diferentes tipos de soluções analíticas (desde simples relatórios até aprendizado de máquina avançado), conforme necessário, para atender às necessidades comerciais de inteligência e insights para a tomada de decisões.

  • Garantir o acesso seguro e em conformidade ao data e aos aplicativos: Com um grande data platform, as organizações devem ser capazes de fornecer acesso data consolidado e seguro às partes interessadas internas e externas. Além disso, devem armazenar, processar e distribuir o data de forma a cumprir as leis e os regulamentos data locais, bem como os padrões e as práticas recomendadas internacionais.

Infraestrutura da plataforma Big Data

Há várias opções de infraestrutura para um grande data platform: totalmente no local, totalmente cloud ou híbrido cloud/no local, cada uma com suas próprias vantagens e desafios. As organizações devem considerar vários fatores ao escolher a opção de infraestrutura mais adequada para seu grande data platform, incluindo requisitos de segurança e residência, integrações de fontes, requisitos de funcionalidade e escalabilidade, além de custo e tempo. Uma arquitetura totalmente baseada no cloud oferece custos menores e mais previsíveis, serviços e integrações prontos para uso e escalabilidade rápida, mas não tem controle sobre o hardware e pode não estar em conformidade com os regulamentos de privacidade e residência do data. Uma arquitetura totalmente no local oferece controle total sobre o hardware e a segurança do data, normalmente está em conformidade com os regulamentos de privacidade e residência, mas incorre em custos mais altos e exige planejamento de longo prazo para dimensionamento. Uma arquitetura híbrida cloud/no local oferece o melhor dos dois mundos, facilitando a migração total para o cloud em uma data posterior, mas pode exigir uma configuração mais complexa.

Muitas organizações optam por uma infraestrutura híbrida para seus grandes data platforms devido a requisitos organizacionais para manter data altamente confidenciais (como data financeiros e de clientes) em seus próprios servidores ou devido à falta de provedores de serviços cloud certificados pelo governo (CSPs) que atendam aos requisitos locais de privacidade e residência data. Essas organizações também preferem manter fontes nativas do cloud ou fontes não confidenciais do data no cloud para otimizar os custos de armazenamento e recursos de computação e aproveitar os serviços de análise e aprendizado de máquina prontos para uso do data disponíveis nos CSPs. Outras organizações que não têm requisitos organizacionais ou regulamentares para a residência do data dentro da empresa ou do país optam por uma infraestrutura totalmente baseada no cloud para agilizar o tempo de implementação, otimizar os custos e facilitar o dimensionamento dos recursos.

Figura 1: Infraestrutura da plataforma Data em nuvem híbrida e no local

Um grande data platform normalmente envolve a configuração de sete camadas principais que refletem o ciclo de vida do data, desde o “data bruto” até as “informações” e os “insights”. As organizações devem considerar cuidadosamente os serviços e as ferramentas apropriados necessários para cada uma das camadas, a fim de garantir um fluxo contínuo de data e a geração eficiente de insights de data. Esses serviços e ferramentas devem desempenhar funções essenciais em cada camada do grande data platform, conforme mostrado na Figura 2: Camadas do Data da plataforma do grande Data.

Figura 2: Camadas do Big Data Platform Data

Evolução da plataforma Big Data

O desenvolvimento de um big data platform deve passar por vários estágios, começando com uma plataforma mínima viável (MVP) e continuando com upgrades incrementais. Uma organização deve sincronizar a evolução de sua grande data platform com o aumento das exigências de insights e inteligência mais amplos e rápidos para as decisões de negócios. Esses requisitos crescentes afetam a complexidade do big data platform em termos de soluções analíticas data, volumes e tipos de fontes data e usuários internos e externos. A evolução do big data platform inclui a adição de mais recursos de armazenamento e computação, recursos e funcionalidades avançados e melhorias na segurança e no gerenciamento da plataforma.

Quadro 3: Evolução da plataforma Big Data

“Vimos que muitas organizações tendem a criar grandes data platforms com recursos avançados e desnecessários desde o primeiro dia, o que aumenta o custo de propriedade da tecnologia. A implantação de um grande data platform deve começar com uma plataforma mínima viável e evoluir com base nos requisitos comerciais e tecnológicos. Nos estágios iniciais da construção da plataforma, as organizações devem implementar uma camada data governance e de gerenciamento robusta que garanta a qualidade, a privacidade, a segurança e a conformidade com as leis data locais e regionais.”
 Anthony Cassab, Data Diretor de Consultoria da Artefact

Diretrizes para uma plataforma Big Data preparada para o futuro

Um grande data platform deve ser construído de acordo com as principais diretrizes arquitetônicas para garantir que seja preparado para o futuro, permitindo fácil escalabilidade dos recursos, portabilidade entre diferentes infraestruturas locais e cloud, atualização e substituição de serviços e expansão dos mecanismos de coleta e compartilhamento data.

  • Camadas modulares data: Todas as camadas da plataforma devem ser bem definidas e integradas, desde a camada de ingestão do data até a camada de visualização e BI do data. Cada camada deve aproveitar os melhores serviços ou ferramentas da categoria, o que normalmente exige que a arquitetura não dependa de uma solução “caixa preta” e permita a configuração e a integração de ferramentas e serviços autônomos que forneçam funcionalidades específicas.

  • Aplicativos em contêineres: A plataforma deve colocar em contêineres os procedimentos e aplicativos de ingestão, processamento e análise do data usando plataformas de orquestração como o Kubernetes. Os contêineres oferecem um mecanismo de empacotamento lógico no qual os aplicativos podem ser abstraídos do ambiente de tempo de execução, permitindo a execução de cargas de trabalho em contêineres em vários tipos de infraestrutura. Isso facilita a portabilidade de aplicativos de plataforma em diferentes infraestruturas locais e cloud e a implantação em vários clouds.

  • Arquitetura baseada em microsserviços: Os aplicativos de plataforma devem ser divididos em microsserviços, cada um atendendo a uma função específica e interagindo entre si. Isso facilita a criação e a manutenção de aplicativos, permite a implantação e o dimensionamento independentes de microsserviços e possibilita o fornecimento rápido e frequente de aplicativos grandes e complexos.

  • Serviços e ferramentas padrão: A seleção de ferramentas e serviços para a plataforma deve se concentrar em padrões compartilhados do setor (padrões abertos) e reduzir a dependência daqueles que são específicos de um único fornecedor de tecnologia. Por exemplo, a plataforma deve incluir serviços cloud que sejam comuns a vários provedores de serviços cloud. Isso facilita a migração entre diferentes infraestruturas locais e de cloud e implantações de vários cloud, reduzindo custos e tempo.

  • Robusto data governance: Desde o início, a plataforma deve incorporar uma estrutura robusta de data governance na forma de ferramentas de governança, serviços, processos, controles e regras que garantam o monitoramento e a melhoria contínuos da qualidade do data, o acesso seguro ao data e à análise do data, a proteção da privacidade, o armazenamento e o processamento em conformidade e o gerenciamento padronizado do data e do metadata. Isso facilita o dimensionamento dos recursos e capacidades da plataforma e facilita a ampla adoção de soluções analíticas de data e o uso de conjuntos de data disponíveis.

“Uma plataforma adaptável e modular que possa ser dimensionada conforme a evolução das necessidades comerciais é preferível a uma plataforma “caixa preta” que seja bem integrada, mas que permita uma personalização limitada. Essas arquiteturas de plataforma podem ser construídas total ou parcialmente no cloud para aproveitar os benefícios da computação do cloud, como escalabilidade e eficiência de custos, ao mesmo tempo em que atendem aos requisitos de privacidade e segurança das normas de proteção do data.”
Faisal Najmuddin, 1TP18Gerente de marketing do Artefact

Em resumo, um grande data platform traz vários benefícios para as organizações, como centralizar as fontes de data, permitir soluções avançadas de análise de data e fornecer acesso em toda a empresa a soluções e fontes de análise de data. No entanto, a implementação de um grande data platform implica várias decisões estratégicas, como a escolha da(s) infraestrutura(s) certa(s), a adoção de uma arquitetura preparada para o futuro, a seleção de serviços padrão e “migráveis”, a consideração cuidadosa das normas de proteção do data e, por fim, a definição de um plano de evolução ideal que esteja intimamente ligado aos requisitos comerciais e maximize o retorno do investimento no data.