{"id":301168,"date":"2025-02-05T09:30:06","date_gmt":"2025-02-05T09:30:06","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=301168"},"modified":"2025-02-11T10:38:01","modified_gmt":"2025-02-11T10:38:01","slug":"apache-paimon-a-real-time-data-lake-framework-and-its-applications","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/apache-paimon-a-real-time-data-lake-framework-and-its-applications\/","title":{"rendered":"Apache Paimon: uma estrutura de lago Data em tempo real e seus aplicativos - o motor que impulsiona a transforma\u00e7\u00e3o do Data e da IA"},"content":{"rendered":"

Autores<\/h2><\/div><\/div><\/div><\/div><\/div>
\"Image\"

Honglin Wang<\/h3><\/div>

Data Engineering VP, Artefact \u00c1sia<\/a><\/p>\n<\/div><\/div><\/div>

Weinan (Jayce) Zhao<\/span><\/h3><\/div>

S\u00eanior Data Engineer<\/span>, Artefact \u00c1sia<\/a><\/p>\n<\/div><\/div><\/div><\/div><\/div>

Na era da transforma\u00e7\u00e3o digital, as empresas acumulam continuamente conjuntos data maci\u00e7os com escala e complexidade crescentes.<\/span><\/p>\n<\/div>

Para as empresas, um lago data n\u00e3o \u00e9 apenas um meio t\u00e9cnico de armazenar diferentes tipos de data, mas tamb\u00e9m uma infraestrutura para melhorar a efici\u00eancia da an\u00e1lise data, apoiar a tomada de decis\u00f5es data-driven e acelerar o desenvolvimento da IA. No entanto, no processamento em tempo real, na an\u00e1lise de streaming de data e em cen\u00e1rios comerciais complexos (por exemplo, an\u00e1lise do comportamento do usu\u00e1rio, gerenciamento de invent\u00e1rio, detec\u00e7\u00e3o de fraudes), as arquiteturas tradicionais de lago de data t\u00eam dificuldades para atender \u00e0 demanda por respostas r\u00e1pidas.<\/p>\n<\/div>

Como uma nova gera\u00e7\u00e3o de tecnologia de lago data em tempo real, <\/span>O Apache PAIMON \u00e9 compat\u00edvel com o Apache Flink, Spark e outros mecanismos de computa\u00e7\u00e3o convencionais, e oferece suporte ao processamento de streaming e em lote, consulta r\u00e1pida e otimiza\u00e7\u00e3o de desempenho, o que o torna uma ferramenta importante para acelerar a transforma\u00e7\u00e3o da IA.<\/b><\/p>\n<\/div>

Princ\u00edpios da PAIMON<\/b><\/h2><\/div>

O Apache PAIMON \u00e9 um sistema de armazenamento e an\u00e1lise que oferece suporte \u00e0 atualiza\u00e7\u00e3o data em tempo real em larga escala e realiza consultas eficientes por meio de \u00e1rvores LSM (\u00e1rvore de mesclagem de estrutura de registro) e formatos de armazenamento colunar (como ORC\/Parquet). Ele \u00e9 profundamente integrado ao Flink para integrar mudan\u00e7as data do Kafka, logs e bases data de neg\u00f3cios, e suporta streaming e batch streaming para obter atualiza\u00e7\u00f5es em tempo real de baixa lat\u00eancia e consultas r\u00e1pidas.<\/p>\n<\/div>

\"PAIMON-based<\/span><\/div>

Exemplo de arquitetura de fluxo data de backend baseado em PAIMON<\/span><\/em><\/p>\n<\/div>

Em compara\u00e7\u00e3o com outras estruturas de lago data (por exemplo, Apache Iceberg e Delta Lake), a PAIMON oferece suporte nativo exclusivo para o processamento unificado de lote de fluxo, que n\u00e3o s\u00f3 lida com efici\u00eancia com o data em lote, mas tamb\u00e9m responde em tempo real ao data alterado (por exemplo, CDC). Ele tamb\u00e9m \u00e9 compat\u00edvel com uma variedade de sistemas de armazenamento distribu\u00eddo (por exemplo, OSS, S3, HDFS) e se integra a ferramentas OLAP (por exemplo, Spark, StarRocks, Doris) para garantir o armazenamento seguro e leituras eficientes, fornecendo suporte flex\u00edvel para a r\u00e1pida tomada de decis\u00f5es e an\u00e1lise data na empresa.<\/p>\n<\/div>

Principais casos de uso da PAIMON<\/h2><\/div>
\"Key<\/span><\/div>

1. Flink CDC para ingerir Data em um lago Data<\/h3><\/div>

O PAIMON simplifica e otimiza esse processo. Com a ingest\u00e3o de um \u00fanico clique, toda a base do data pode ser rapidamente importada para o lago do data, reduzindo consideravelmente a complexidade da arquitetura. Ele suporta atualiza\u00e7\u00f5es em tempo real e consultas r\u00e1pidas a baixo custo. Al\u00e9m disso, oferece op\u00e7\u00f5es flex\u00edveis de atualiza\u00e7\u00e3o que permitem a aplica\u00e7\u00e3o de colunas espec\u00edficas ou diferentes tipos de atualiza\u00e7\u00f5es agregadas.<\/p>\n<\/div>

2. Criando pipelines de streaming Data<\/h3><\/div>

O PAIMON pode ser usado para criar um pipeline completo de streaming data, com recursos que incluem:
\nGerar ChangeLog, permitindo o acesso de leitura de streaming a registros totalmente atualizados, facilitando a cria\u00e7\u00e3o de pipelines data de streaming avan\u00e7ados.<\/p>\n

O PAIMON est\u00e1 evoluindo para um sistema de fila de mensagens com mecanismos de consumo. Em sua vers\u00e3o mais recente, ele inclui o gerenciamento do ciclo de vida dos logs de altera\u00e7\u00f5es, permitindo que os usu\u00e1rios definam per\u00edodos de reten\u00e7\u00e3o (por exemplo, os logs podem ser retidos por sete dias ou mais), semelhante ao Kafka. Isso cria uma solu\u00e7\u00e3o de pipeline de streaming leve e econ\u00f4mica.<\/p>\n<\/div>

3. Consultas OLAP ultrarr\u00e1pidas<\/h3><\/div>

Embora os dois primeiros casos de uso garantam o fluxo de data em tempo real, a PAIMON tamb\u00e9m suporta consultas OLAP de alta velocidade para analisar o data armazenado. Ao combinar LSM e indexa\u00e7\u00e3o, a PAIMON permite uma an\u00e1lise r\u00e1pida do data. Seu ecossistema \u00e9 compat\u00edvel com mecanismos de consulta, como Flink, Spark, StarRocks e Trino, permitindo consultas eficientes no data armazenado dentro da PAIMON.<\/span><\/p>\n<\/div>

Casos de uso do ARTEFACT<\/h2><\/div>

Caso 1<\/strong>: Aumento da efici\u00eancia da an\u00e1lise em tempo real Data<\/h3><\/div>
  • <\/i><\/span>
    \n

    Desafio<\/strong>:<\/strong> Um gigante do varejo global enfrentou desafios na an\u00e1lise do comportamento do usu\u00e1rio em tempo real e nas recomenda\u00e7\u00f5es personalizadas nas plataformas de loja e com\u00e9rcio eletr\u00f4nico. Com a arquitetura tradicional de an\u00e1lise data, o sistema n\u00e3o conseguia lidar eficientemente com o data em tempo real e em grande escala, o que resultava em uma experi\u00eancia ruim para o usu\u00e1rio e alta lat\u00eancia nos sistemas de recomenda\u00e7\u00e3o.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Solu\u00e7\u00e3o<\/strong>:<\/strong> Com a introdu\u00e7\u00e3o do Apache PAIMON, o cliente de varejo conseguiu sincronizar em tempo real os comportamentos de compra dos usu\u00e1rios e o data do estoque. Combinado com o Flink para processamento de fluxo, o cliente conseguiu gerar recomenda\u00e7\u00f5es personalizadas com base no data mais atualizado. Isso n\u00e3o apenas melhorou a experi\u00eancia de compra, mas tamb\u00e9m reduziu os custos de infraestrutura.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Resultado<\/strong>:<\/strong> As taxas de convers\u00e3o dos usu\u00e1rios aumentaram em 10%, e a lat\u00eancia do sistema foi reduzida de T+1 para uma quest\u00e3o de minutos.<\/span><\/p>\n<\/div><\/li><\/ul>

    Caso 2: <\/b>Criando um monitoramento de neg\u00f3cios confi\u00e1vel em tempo real<\/h3><\/div>
    • <\/i><\/span>
      \n

      Desafio<\/strong>:<\/strong> O sistema de gerenciamento da cadeia de suprimentos de um cliente varejista enfrentou uma complexidade cada vez maior \u00e0 medida que os neg\u00f3cios cresciam. Isso criou uma necessidade urgente de monitoramento em tempo real dos fluxos de trabalho comerciais como forma de garantir estabilidade e efici\u00eancia. No entanto, a arquitetura do sistema existente suportava apenas o processamento data off-line, que n\u00e3o conseguia atender \u00e0s demandas das opera\u00e7\u00f5es em tempo real.<\/span><\/p>\n

       <\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Solu\u00e7\u00e3o<\/strong>:<\/strong> Com a introdu\u00e7\u00e3o do lago PAIMON data, foi criada uma arquitetura de lago data em tempo real usando Aliyun EMR + OSS. Esse sistema usou o Flink e o Flink CDC para coletar o data de v\u00e1rias fontes em tempo real. Combinado com o armazenamento de objetos do OSS, ele garantiu a capacidade de consulta e a reutiliza\u00e7\u00e3o hier\u00e1rquica do data. Enquanto isso, ele combina o Doris na camada de an\u00e1lise para resolver o problema de baixa pontualidade da an\u00e1lise OLAP e melhorar a pontualidade do sistema de relat\u00f3rios e monitoramento.<\/span><\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Resultado<\/strong>:<\/strong> O departamento de cadeia de suprimentos conseguiu monitorar o fluxo de trabalho comercial em tempo real, garantindo a estabilidade do sistema e melhorando a efici\u00eancia operacional.<\/span><\/p>\n

       <\/p>\n<\/div><\/li><\/ul>

      Os casos acima resumem a experi\u00eancia pr\u00e1tica da ARTEFACT na implementa\u00e7\u00e3o do Apache PAIMON para os clientes. Como uma tecnologia de lago data em tempo real, o PAIMON oferece \u00e0s empresas uma solu\u00e7\u00e3o altamente eficiente e flex\u00edvel para enfrentar desafios complexos de processamento data.\u00a0<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      Na era da transforma\u00e7\u00e3o digital, as empresas acumulam continuamente conjuntos data maci\u00e7os com escala e complexidade crescentes.<\/p>","protected":false},"featured_media":301284,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-301168","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog\/301168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media\/301284"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/media?parent=301168"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-category?post=301168"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/br\/wp-json\/wp\/v2\/blog-language?post=301168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}