{"id":71246,"date":"2023-07-03T16:06:12","date_gmt":"2023-07-03T15:06:12","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=71246"},"modified":"2024-09-20T17:45:57","modified_gmt":"2024-09-20T16:45:57","slug":"big-data-platform-a-foundation-for-data-solutions-guidelines-for-a-future-proof-and-purpose-built-platform","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/big-data-platform-a-foundation-for-data-solutions-guidelines-for-a-future-proof-and-purpose-built-platform\/","title":{"rendered":"Grande plataforma Data: A Foundation for Data Solutions | Guidelines for a Future-proof and Purpose-built Platform"},"content":{"rendered":"

Autor<\/h2><\/div>\"Image\"

Oussama Ahmad<\/h3><\/div>

S\u00f3cio da Data e consultor digital da Artefact MENA<\/p>\n<\/div><\/div><\/div>

Autor<\/h2><\/div>\"Image\"

Anthony Cassab<\/h3><\/div>

Data Diretor de Consultoria da Artefact MENA<\/p>\n<\/div><\/div><\/div>

Autor<\/h2><\/div>\"Image\"

Faisal Najmuddin<\/h3><\/div>

1TP18Gerente de marketing da Artefact MENA<\/p>\n<\/div><\/div><\/div><\/div><\/div>

Na era digital atual, as organiza\u00e7\u00f5es t\u00eam o desafio de acompanhar o ritmo sem precedentes da gera\u00e7\u00e3o de data e a infinidade de sistemas empresariais e tecnologias digitais que coletam todos os tipos de data. Isso est\u00e1 associado \u00e0 necessidade de analisar de forma r\u00e1pida e eficiente esses grandes volumes de data para gerar insights e intelig\u00eancia a fim de maximizar seu valor comercial. Como resultado, o big data platforms tornou-se uma base essencial para que as organiza\u00e7\u00f5es implementem com efici\u00eancia solu\u00e7\u00f5es data que proporcionem decis\u00f5es de neg\u00f3cios data-driven oportunas e vantagem competitiva.<\/p>\n<\/div><\/div><\/div><\/div><\/div>

\n
\u201cAs solu\u00e7\u00f5es de an\u00e1lise e intelig\u00eancia Data est\u00e3o se proliferando nas organiza\u00e7\u00f5es para possibilitar o crescimento dos neg\u00f3cios. As organiza\u00e7\u00f5es devem criar grandes data platforms como bases s\u00f3lidas para implementar solu\u00e7\u00f5es data em escala. Esses data platforms devem ser criados especificamente para os neg\u00f3cios, pois s\u00e3o t\u00e3o bons quanto os insights e a intelig\u00eancia de neg\u00f3cios que possibilitam; e devem ser criados para serem preparados para o futuro, beneficiando-se dos constantes avan\u00e7os nos servi\u00e7os e nas tecnologias de infraestrutura data.\u201d<\/div>\n
Oussama Ahmad, Data Parceiro de consultoria da Artefact<\/div>\n<\/blockquote>\n<\/div>

Principais objetivos da plataforma Big Data<\/h2><\/div>

O objetivo do Big data platforms \u00e9 acabar com os silos data e integrar os diferentes tipos de fontes data necess\u00e1rias para implementar solu\u00e7\u00f5es avan\u00e7adas de an\u00e1lise e intelig\u00eancia data. Elas fornecem uma infraestrutura dimension\u00e1vel e flex\u00edvel para coletar, armazenar e analisar grandes volumes de data de v\u00e1rias fontes. Essas plataformas devem aproveitar os melhores servi\u00e7os e tecnologias de gerenciamento de data da categoria e cumprir tr\u00eas objetivos principais:<\/p>\n<\/div>

  • <\/i><\/span>
    \n

    Centralizar fontes data<\/strong>: Um grande data platform deve acabar com os silos data ao ingerir e armazenar automaticamente diferentes tipos e tamanhos de fontes data de sistemas data corporativos e fontes data de terceiros. Ele deve se tornar o reposit\u00f3rio central de data, fornecendo uma \u00fanica fonte de verdade para todas as fontes de data necess\u00e1rias para as solu\u00e7\u00f5es de an\u00e1lise de data.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Habilite as solu\u00e7\u00f5es anal\u00edticas do data<\/strong>: Um big data platform deve fornecer uma infraestrutura robusta para desenvolver, executar e implantar diferentes tipos de solu\u00e7\u00f5es anal\u00edticas (desde simples relat\u00f3rios at\u00e9 aprendizado de m\u00e1quina avan\u00e7ado), conforme necess\u00e1rio, para atender \u00e0s necessidades comerciais de intelig\u00eancia e insights para a tomada de decis\u00f5es.<\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Garantir o acesso seguro e em conformidade ao data e aos aplicativos<\/strong>: Com um grande data platform, as organiza\u00e7\u00f5es devem ser capazes de fornecer acesso data consolidado e seguro \u00e0s partes interessadas internas e externas. Al\u00e9m disso, devem armazenar, processar e distribuir o data de forma a cumprir as leis e os regulamentos data locais, bem como os padr\u00f5es e as pr\u00e1ticas recomendadas internacionais.<\/p>\n<\/div><\/li><\/ul>

    Infraestrutura da plataforma Big Data<\/h2><\/div>

    H\u00e1 v\u00e1rias op\u00e7\u00f5es de infraestrutura para um grande data platform: totalmente no local, totalmente cloud ou h\u00edbrido cloud\/no local, cada uma com suas pr\u00f3prias vantagens e desafios. As organiza\u00e7\u00f5es devem considerar v\u00e1rios fatores ao escolher a op\u00e7\u00e3o de infraestrutura mais adequada para seu grande data platform, incluindo requisitos de seguran\u00e7a e resid\u00eancia, integra\u00e7\u00f5es de fontes, requisitos de funcionalidade e escalabilidade, al\u00e9m de custo e tempo. Uma arquitetura totalmente baseada no cloud oferece custos menores e mais previs\u00edveis, servi\u00e7os e integra\u00e7\u00f5es prontos para uso e escalabilidade r\u00e1pida, mas n\u00e3o tem controle sobre o hardware e pode n\u00e3o estar em conformidade com os regulamentos de privacidade e resid\u00eancia do data. Uma arquitetura totalmente no local oferece controle total sobre o hardware e a seguran\u00e7a do data, normalmente est\u00e1 em conformidade com os regulamentos de privacidade e resid\u00eancia, mas incorre em custos mais altos e exige planejamento de longo prazo para dimensionamento. Uma arquitetura h\u00edbrida cloud\/no local oferece o melhor dos dois mundos, facilitando a migra\u00e7\u00e3o total para o cloud em uma data posterior, mas pode exigir uma configura\u00e7\u00e3o mais complexa.<\/p>\n

    Muitas organiza\u00e7\u00f5es optam por uma infraestrutura h\u00edbrida para seus grandes data platforms devido a requisitos organizacionais para manter data altamente confidenciais (como data financeiros e de clientes) em seus pr\u00f3prios servidores ou devido \u00e0 falta de provedores de servi\u00e7os cloud certificados pelo governo (CSPs) que atendam aos requisitos locais de privacidade e resid\u00eancia data. Essas organiza\u00e7\u00f5es tamb\u00e9m preferem manter fontes nativas do cloud ou fontes n\u00e3o confidenciais do data no cloud para otimizar os custos de armazenamento e recursos de computa\u00e7\u00e3o e aproveitar os servi\u00e7os de an\u00e1lise e aprendizado de m\u00e1quina prontos para uso do data dispon\u00edveis nos CSPs. Outras organiza\u00e7\u00f5es que n\u00e3o t\u00eam requisitos organizacionais ou regulamentares para a resid\u00eancia do data dentro da empresa ou do pa\u00eds optam por uma infraestrutura totalmente baseada no cloud para agilizar o tempo de implementa\u00e7\u00e3o, otimizar os custos e facilitar o dimensionamento dos recursos.<\/p>\n<\/div>

    <\/span><\/div>

    Figura 1: Infraestrutura da plataforma Data em nuvem h\u00edbrida e no local<\/i><\/span><\/p>\n<\/div>

    Um grande data platform normalmente envolve a configura\u00e7\u00e3o de sete camadas principais que refletem o ciclo de vida do data, desde o \u201cdata bruto\u201d at\u00e9 as \u201cinforma\u00e7\u00f5es\u201d e os \u201cinsights\u201d. As organiza\u00e7\u00f5es devem considerar cuidadosamente os servi\u00e7os e as ferramentas apropriados necess\u00e1rios para cada uma das camadas, a fim de garantir um fluxo cont\u00ednuo de data e a gera\u00e7\u00e3o eficiente de insights de data. Esses servi\u00e7os e ferramentas devem desempenhar fun\u00e7\u00f5es essenciais em cada camada do grande data platform, conforme mostrado na Figura 2: Camadas do Data da plataforma do grande Data.<\/p>\n<\/div>

    <\/span><\/div>

    Figura 2: Camadas do Big Data Platform Data
    \n<\/i><\/span><\/p>\n<\/div>

    Evolu\u00e7\u00e3o da plataforma Big Data<\/h2><\/div>

    O desenvolvimento de um big data platform deve passar por v\u00e1rios est\u00e1gios, come\u00e7ando com uma plataforma m\u00ednima vi\u00e1vel (MVP) e continuando com upgrades incrementais. Uma organiza\u00e7\u00e3o deve sincronizar a evolu\u00e7\u00e3o de sua grande data platform com o aumento das exig\u00eancias de insights e intelig\u00eancia mais amplos e r\u00e1pidos para as decis\u00f5es de neg\u00f3cios. Esses requisitos crescentes afetam a complexidade do big data platform em termos de solu\u00e7\u00f5es anal\u00edticas data, volumes e tipos de fontes data e usu\u00e1rios internos e externos. A evolu\u00e7\u00e3o do big data platform inclui a adi\u00e7\u00e3o de mais recursos de armazenamento e computa\u00e7\u00e3o, recursos e funcionalidades avan\u00e7ados e melhorias na seguran\u00e7a e no gerenciamento da plataforma.<\/p>\n<\/div>

    <\/span><\/div>

    Quadro 3: Evolu\u00e7\u00e3o da plataforma Big Data<\/i><\/span><\/p>\n<\/div>

    \n
    \u201cVimos que muitas organiza\u00e7\u00f5es tendem a criar grandes data platforms com recursos avan\u00e7ados e desnecess\u00e1rios desde o primeiro dia, o que aumenta o custo de propriedade da tecnologia. A implanta\u00e7\u00e3o de um grande data platform deve come\u00e7ar com uma plataforma m\u00ednima vi\u00e1vel e evoluir com base nos requisitos comerciais e tecnol\u00f3gicos. Nos est\u00e1gios iniciais da constru\u00e7\u00e3o da plataforma, as organiza\u00e7\u00f5es devem implementar uma camada data governance e de gerenciamento robusta que garanta a qualidade, a privacidade, a seguran\u00e7a e a conformidade com as leis data locais e regionais.\u201d<\/div>\n
    \u00a0Anthony Cassab, Data Diretor de Consultoria da Artefact<\/div>\n<\/blockquote>\n<\/div>

    Diretrizes para uma plataforma Big Data preparada para o futuro<\/h2><\/div>

    Um grande data platform deve ser constru\u00eddo de acordo com as principais diretrizes arquitet\u00f4nicas para garantir que seja preparado para o futuro, permitindo f\u00e1cil escalabilidade dos recursos, portabilidade entre diferentes infraestruturas locais e cloud, atualiza\u00e7\u00e3o e substitui\u00e7\u00e3o de servi\u00e7os e expans\u00e3o dos mecanismos de coleta e compartilhamento data.<\/p>\n<\/div>

    • <\/i><\/span>
      \n

      Camadas modulares data<\/strong>: Todas as camadas da plataforma devem ser bem definidas e integradas, desde a camada de ingest\u00e3o do data at\u00e9 a camada de visualiza\u00e7\u00e3o e BI do data. Cada camada deve aproveitar os melhores servi\u00e7os ou ferramentas da categoria, o que normalmente exige que a arquitetura n\u00e3o dependa de uma solu\u00e7\u00e3o \u201ccaixa preta\u201d e permita a configura\u00e7\u00e3o e a integra\u00e7\u00e3o de ferramentas e servi\u00e7os aut\u00f4nomos que forne\u00e7am funcionalidades espec\u00edficas.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Aplicativos em cont\u00eaineres<\/strong>: A plataforma deve colocar em cont\u00eaineres os procedimentos e aplicativos de ingest\u00e3o, processamento e an\u00e1lise do data usando plataformas de orquestra\u00e7\u00e3o como o Kubernetes. Os cont\u00eaineres oferecem um mecanismo de empacotamento l\u00f3gico no qual os aplicativos podem ser abstra\u00eddos do ambiente de tempo de execu\u00e7\u00e3o, permitindo a execu\u00e7\u00e3o de cargas de trabalho em cont\u00eaineres em v\u00e1rios tipos de infraestrutura. Isso facilita a portabilidade de aplicativos de plataforma em diferentes infraestruturas locais e cloud e a implanta\u00e7\u00e3o em v\u00e1rios clouds.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Arquitetura baseada em microsservi\u00e7os<\/strong>: Os aplicativos de plataforma devem ser divididos em microsservi\u00e7os, cada um atendendo a uma fun\u00e7\u00e3o espec\u00edfica e interagindo entre si. Isso facilita a cria\u00e7\u00e3o e a manuten\u00e7\u00e3o de aplicativos, permite a implanta\u00e7\u00e3o e o dimensionamento independentes de microsservi\u00e7os e possibilita o fornecimento r\u00e1pido e frequente de aplicativos grandes e complexos.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Servi\u00e7os e ferramentas padr\u00e3o<\/strong>: A sele\u00e7\u00e3o de ferramentas e servi\u00e7os para a plataforma deve se concentrar em padr\u00f5es compartilhados do setor (padr\u00f5es abertos) e reduzir a depend\u00eancia daqueles que s\u00e3o espec\u00edficos de um \u00fanico fornecedor de tecnologia. Por exemplo, a plataforma deve incluir servi\u00e7os cloud que sejam comuns a v\u00e1rios provedores de servi\u00e7os cloud. Isso facilita a migra\u00e7\u00e3o entre diferentes infraestruturas locais e de cloud e implanta\u00e7\u00f5es de v\u00e1rios cloud, reduzindo custos e tempo.<\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Robusto data governance<\/strong>: Desde o in\u00edcio, a plataforma deve incorporar uma estrutura robusta de data governance na forma de ferramentas de governan\u00e7a, servi\u00e7os, processos, controles e regras que garantam o monitoramento e a melhoria cont\u00ednuos da qualidade do data, o acesso seguro ao data e \u00e0 an\u00e1lise do data, a prote\u00e7\u00e3o da privacidade, o armazenamento e o processamento em conformidade e o gerenciamento padronizado do data e do metadata. Isso facilita o dimensionamento dos recursos e capacidades da plataforma e facilita a ampla ado\u00e7\u00e3o de solu\u00e7\u00f5es anal\u00edticas de data e o uso de conjuntos de data dispon\u00edveis.<\/p>\n<\/div><\/li><\/ul>

      \n
      \u201cUma plataforma adapt\u00e1vel e modular que possa ser dimensionada conforme a evolu\u00e7\u00e3o das necessidades comerciais \u00e9 prefer\u00edvel a uma plataforma \u201ccaixa preta\u201d que seja bem integrada, mas que permita uma personaliza\u00e7\u00e3o limitada. Essas arquiteturas de plataforma podem ser constru\u00eddas total ou parcialmente no cloud para aproveitar os benef\u00edcios da computa\u00e7\u00e3o do cloud, como escalabilidade e efici\u00eancia de custos, ao mesmo tempo em que atendem aos requisitos de privacidade e seguran\u00e7a das normas de prote\u00e7\u00e3o do data.\u201d<\/div>\n
      Faisal Najmuddin, 1TP18Gerente de marketing do Artefact<\/div>\n<\/blockquote>\n<\/div>

      Em resumo, um grande data platform traz v\u00e1rios benef\u00edcios para as organiza\u00e7\u00f5es, como centralizar as fontes de data, permitir solu\u00e7\u00f5es avan\u00e7adas de an\u00e1lise de data e fornecer acesso em toda a empresa a solu\u00e7\u00f5es e fontes de an\u00e1lise de data. No entanto, a implementa\u00e7\u00e3o de um grande data platform implica v\u00e1rias decis\u00f5es estrat\u00e9gicas, como a escolha da(s) infraestrutura(s) certa(s), a ado\u00e7\u00e3o de uma arquitetura preparada para o futuro, a sele\u00e7\u00e3o de servi\u00e7os padr\u00e3o e \u201cmigr\u00e1veis\u201d, a considera\u00e7\u00e3o cuidadosa das normas de prote\u00e7\u00e3o do data e, por fim, a defini\u00e7\u00e3o de um plano de evolu\u00e7\u00e3o ideal que esteja intimamente ligado aos requisitos comerciais e maximize o retorno do investimento no data.<\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      O Big data platform se tornou uma base essencial para que as organiza\u00e7\u00f5es implementem solu\u00e7\u00f5es data com efici\u00eancia.<\/p>","protected":false},"featured_media":71255,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-71246","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog\/71246","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media\/71255"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media?parent=71246"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-category?post=71246"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-language?post=71246"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}