Autor

[iee_imageartefact,artefact image_urlartefactOussama-Ahmad-2-copie.jpg” image_width=”165″ alignment=”left” click_action=”none” target=”_blank” image_shape=”blob” blob_shape=”54% 46% 77% 23% / 74% 40% 60% 26%” images_border_radius=”4″ hover_animation=”disable” class=”article-author-image” /]

Oussama Ahmad

Sócio de Consultoria Data Digital na Artefact

Autor

[iee_imageartefact,artefact image_urlartefactwp-content/uploads/2023/07/anthony-cassab-1.jpeg” image_width=”150″ alignment=”left” click_action=”none” target=”_blank” image_shape=”blob” blob_shape=”54% 46% 77% 23% / 74% 40% 60% 26%” images_border_radius=”4″ hover_animation=”disable” class=”article-author-image” /]

Anthony Cassab

Diretor Data na Artefact

Autor

[iee_imageartefact,artefact image_urlartefactwp-content/uploads/2023/07/Faisal-Najmuddi-1.jpeg” image_width=”150″ alignment=”left” click_action=”none” target=”_blank” image_shape=”blob” blob_shape=”54% 46% 77% 23% / 74% 40% 60% 26%” images_border_radius=”4″ hover_animation=”disable” class=”article-author-image” /]

Faisal Najmuddin

Gerente Data na Artefact

Na era digital atual, as organizações enfrentam o desafio de acompanhar o ritmo sem precedentes da data e a infinidade de sistemas corporativos e tecnologias digitais que coletam todos os tipos de data. A isso soma-se a necessidade de analisar de forma rápida e eficiente esses grandes volumes de data gerar insights e inteligência, a fim de maximizar seu valor comercial. Como resultado, data big data tornaram-se uma base essencial para que as organizações implementem com eficiência data que proporcionem decisões comerciais oportunas e data, além de vantagem competitiva.

“As soluçõesData e inteligênciaData estão se disseminando pelas organizações para impulsionar o crescimento dos negócios. As organizações devem criar data big data como bases sólidas para implementar data em grande escala. Essas data devem ser projetadas especificamente para os negócios, pois sua eficácia depende diretamente dos insights e da inteligência empresarial que elas possibilitam; além disso, devem ser construídas para se adaptarem às mudanças futuras, aproveitando os avanços constantes nos serviços e tecnologias data .”
Oussama Ahmad, sócio Data da Artefact

Principais objetivos da Data de Big Data

data big data têm como objetivo eliminar data e integrar os diferentes tipos de data necessários para implementar soluções avançadas data e inteligência data . Elas oferecem uma infraestrutura escalável e flexível para coletar, armazenar e analisar grandes volumes de data múltiplas fontes. Essas plataformas devem utilizar os melhores serviços e tecnologias data disponíveis e cumprir três objetivos principais:

  • Centralizar data : uma data big data deve eliminar data ao coletar e armazenar automaticamente data de diferentes tipos e tamanhos, provenientes de data corporativos e data de terceiros. Ela deve se tornar o data central data , fornecendo uma única fonte de verdade para todas data necessárias às soluções data .

  • Habilitar soluções data : Uma data big data deve oferecer uma infraestrutura robusta para desenvolver, executar e implantar diferentes tipos de soluções analíticas (desde relatórios simples até aprendizado de máquina avançado), conforme necessário, a fim de atender às necessidades da empresa em termos de inteligência e insights para a tomada de decisões.

  • Garantir acesso seguro e em conformidade aos data aplicativos: Com uma data big data , as organizações devem ser capazes de fornecer data consolidado e seguro data tanto para partes interessadas internas quanto externas. Ela também deve armazenar, processar e distribuir data maneira que esteja em conformidade com data e regulamentações locais data , bem como com as normas internacionais e as melhores práticas.

Infraestrutura da Data de Big Data

Existem várias opções de infraestrutura para uma data de big data : totalmente local, totalmente cloud híbrida cloud, cada uma com suas próprias vantagens e desafios. As organizações devem levar em consideração uma série de fatores ao escolher a opção de infraestrutura mais adequada para sua data big data , incluindo requisitos data e residência data , integrações data , requisitos de funcionalidade e escalabilidade, além de custo e tempo. Uma arquitetura totalmente cloud oferece custos mais baixos e previsíveis, serviços e integrações prontos para uso e escalabilidade rápida, mas carece de controle sobre o hardware e pode não estar em conformidade com as regulamentações data e residência data . Uma arquitetura totalmente local oferece controle total sobre o hardware e data , normalmente está em conformidade com as regulamentações de privacidade e residência, mas acarreta custos mais elevados e requer planejamento de longo prazo para escalabilidade. Uma arquitetura híbrida cloud oferece o melhor dos dois mundos, facilitando a migração completa para a cloud uma data posterior, mas pode exigir uma configuração mais complexa.

Muitas organizações optam por uma infraestrutura híbrida para suas data big data devido a requisitos organizacionais que exigem que data altamente confidenciais data como data de clientes e financeiros) sejam mantidos em seus próprios servidores, ou devido à falta de provedores cloud (CSPs) certificados pelo governo que atendam aos requisitos locais data e residência data . Essas organizações também preferem manter data cloud cloud ou não confidenciais na cloud otimizar os custos de armazenamento e recursos de computação e aproveitar os serviços prontos para uso data e aprendizado de máquina disponíveis nos CSPs. Outras organizações que não têm requisitos organizacionais ou regulatórios de data dentro da empresa ou do país optam por uma infraestrutura totalmente cloud para obter maior rapidez na implementação, custos otimizados e recursos facilmente escaláveis.

class="lazyload

Figura 1: Infraestrutura Data Cloud híbrida Cloud local

Uma data big data geralmente envolve a configuração de sete camadas principais que refletem o data , desde dataaté a “informação” e os “insights”. As organizações devem avaliar cuidadosamente os serviços e ferramentas adequados necessários para cada uma dessas camadas, a fim de garantir um fluxo de dados contínuo e a geração eficiente de data . Esses serviços e ferramentas devem desempenhar funções essenciais em cada camada da data big data , conforme ilustrado na Figura 2: Data Data big Data .

class="lazyload

Figura 2: Data Data Big Data

Evolução da Data de Big Data

O desenvolvimento de uma data de big data deve ocorrer em várias etapas, começando com uma plataforma mínima viável (MVP) e prosseguindo com atualizações incrementais. Uma organização deve sincronizar a evolução de sua data big data com os requisitos crescentes por data e inteligência data mais amplos e rápidos para a tomada de decisões de negócios. Esses requisitos crescentes afetam a complexidade da data big data em termos de soluções data , volumes e tipos data , e usuários internos e externos. A evolução da data big data inclui a adição de mais recursos de armazenamento e computação, recursos e funcionalidades avançadas, e melhorias na segurança e no gerenciamento da plataforma.

class="lazyload

Anexo 3: Evolução Data Big Data

“Temos observado que muitas organizações tendem a criar data big data com recursos avançados e desnecessários desde o início, o que aumenta o custo de propriedade da tecnologia. A implantação data big data deve começar com uma plataforma mínima viável e evoluir de acordo com os requisitos comerciais e tecnológicos. Nas fases iniciais da construção da plataforma, as organizações devem implementar uma camada robusta data e gestão data que garanta data , a privacidade e a segurança data , bem como a conformidade com data locais e regionais data .”
 Anthony Cassab, diretor Data da Artefact

Diretrizes para uma Data de Big Data preparada para o futuro

Uma data big data deve ser construída de acordo com diretrizes arquitetônicas fundamentais para garantir que seja preparada para o futuro, permitindo fácil escalabilidade de recursos, portabilidade entre diferentes cloud locais e cloud , atualização e substituição de serviços, bem como a expansão dos mecanismos data e compartilhamento data .

  • data modulares: Todas as camadas da plataforma devem estar bem definidas e integradas, desde a camada data até a camada data e BI. Cada camada deve utilizar os melhores serviços ou ferramentas disponíveis, o que normalmente exige que a arquitetura não dependa de uma solução do tipo “caixa preta” e permita a configuração e integração de ferramentas e serviços independentes que ofereçam funcionalidades específicas.

  • Aplicações em contêineres: A plataforma deve contêinerizar os procedimentos e as aplicações data , processamento e análise data utilizando plataformas de orquestração como o Kubernetes. Os contêineres oferecem um mecanismo de empacotamento lógico no qual as aplicações podem ser abstraídas do ambiente de execução, permitindo a execução de cargas de trabalho em contêineres em vários tipos de infraestrutura. Isso facilita a portabilidade das aplicações da plataforma entre diferentes cloud locais e cloud , bem como a implantação em múltiplas nuvens.

  • Arquitetura baseada em microsserviços: as aplicações da plataforma devem ser divididas em microsserviços, cada um desempenhando uma função específica e interagindo entre si. Isso facilita o desenvolvimento e a manutenção das aplicações, permite a implantação e o dimensionamento independentes dos microsserviços e possibilita a entrega rápida e frequente de aplicações grandes e complexas.

  • Serviços e ferramentas padrão: A seleção de ferramentas e serviços para a plataforma deve priorizar padrões compartilhados do setor (padrões abertos) e reduzir a dependência daqueles que são específicos de um único fornecedor de tecnologia. Por exemplo, a plataforma deve incluir cloud comuns a vários provedores cloud . Isso facilita a migração entre diferentes cloud locais e cloud , bem comocloud , reduzindo custos e tempo.

  • data robusta: Desde o início, a plataforma deve incorporar uma estrutura robusta data , composta por ferramentas, serviços, processos, controles e regras que garantam o monitoramento contínuo e a melhoria da data , o acesso seguro aos data data , a proteção da privacidade, o armazenamento e o processamento em conformidade com as normas, bem como a gestão padronizada data metadados. Isso facilita o dimensionamento dos recursos e das capacidades da plataforma, além de promover a ampla adoção de soluções data e o uso dos conjuntos de dados disponíveis.

“Uma plataforma adaptável e modular, capaz de se expandir à medida que as necessidades do negócio evoluem, é preferível a uma plataforma do tipo ‘caixa preta’, que, embora seja bem integrada, permite uma personalização limitada. Essas arquiteturas de plataforma podem ser construídas total ou parcialmente na cloud aproveitar os benefícios da cloud , como escalabilidade e eficiência de custos, ao mesmo tempo em que atendem aos requisitos de privacidade e segurança exigidos pelas regulamentações data .”
Faisal Najmuddin, gerente Data da Artefact

Em resumo, uma data big data traz múltiplos benefícios às organizações, tais como a centralização data , a viabilização de soluções avançadas data e o fornecimento de acesso em toda a empresa a soluções e fontes data . No entanto, a implementação de uma data big data envolve uma série de decisões estratégicas, como escolher a(s) infraestrutura(s) certa(s), adotar uma arquitetura preparada para o futuro, selecionar serviços padrão e “migratáveis”, considerar cuidadosamente as regulamentações data e, finalmente, definir um plano de evolução ideal que esteja intimamente ligado aos requisitos de negócios e maximize o retorno sobre data .