{"id":301168,"date":"2025-02-05T09:30:06","date_gmt":"2025-02-05T09:30:06","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=301168"},"modified":"2025-02-11T10:38:01","modified_gmt":"2025-02-11T10:38:01","slug":"apache-paimon-a-real-time-data-lake-framework-and-its-applications","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/fr\/blog\/apache-paimon-a-real-time-data-lake-framework-and-its-applications\/","title":{"rendered":"Apache Paimon : un framework Data Lake en temps r\u00e9el et ses applications | Le moteur de la transformation de Data et de l'IA"},"content":{"rendered":"

Auteurs<\/h2><\/div><\/div><\/div><\/div><\/div>
\"Image\"

Honglin Wang<\/h3><\/div>

Data Engineering VP, Artefact Asie<\/a><\/p>\n<\/div><\/div><\/div>

Weinan (Jayce) Zhao<\/span><\/h3><\/div>

Senior Data Engineer<\/span>, Artefact Asie<\/a><\/p>\n<\/div><\/div><\/div><\/div><\/div>

\u00c0 l'\u00e8re de la transformation num\u00e9rique, les entreprises accumulent en permanence des ensembles data massifs dont l'\u00e9chelle et la complexit\u00e9 ne cessent de cro\u00eetre.<\/span><\/p>\n<\/div>

Pour les entreprises, un lac de data n'est pas seulement un moyen technique de stocker diff\u00e9rents types de data, mais aussi une infrastructure permettant d'am\u00e9liorer l'efficacit\u00e9 de l'analyse de data, de soutenir la prise de d\u00e9cision de data-driven et d'acc\u00e9l\u00e9rer le d\u00e9veloppement de l'IA. Toutefois, en ce qui concerne le traitement en temps r\u00e9el, l'analyse de data en continu et les sc\u00e9narios commerciaux complexes (par exemple, l'analyse du comportement des utilisateurs, la gestion des stocks, la d\u00e9tection des fraudes), les architectures traditionnelles de lacs de data peinent \u00e0 r\u00e9pondre \u00e0 la demande de r\u00e9ponse rapide.<\/p>\n<\/div>

En tant que nouvelle g\u00e9n\u00e9ration de technologie de lac data en temps r\u00e9el, <\/span>Apache PAIMON est compatible avec Apache Flink, Spark et d'autres moteurs de calcul grand public, et prend en charge le traitement en continu et par lots, les requ\u00eates rapides et l'optimisation des performances, ce qui en fait un outil important pour acc\u00e9l\u00e9rer la transformation de l'IA.<\/b><\/p>\n<\/div>

Principes de PAIMON<\/b><\/h2><\/div>

Apache PAIMON est un syst\u00e8me de stockage et d'analyse qui prend en charge les mises \u00e0 jour data en temps r\u00e9el \u00e0 grande \u00e9chelle et permet des requ\u00eates efficaces gr\u00e2ce aux arbres LSM (log structure merge tree) et aux formats de stockage en colonnes (tels que ORC\/Parquet). Il est profond\u00e9ment int\u00e9gr\u00e9 \u00e0 Flink pour int\u00e9grer les changements data provenant de Kafka, des journaux et des bases de donn\u00e9es commerciales data, et prend en charge le streaming et le batch streaming pour obtenir des mises \u00e0 jour en temps r\u00e9el \u00e0 faible latence et des requ\u00eates rapides.<\/p>\n<\/div>

\"PAIMON-based<\/span><\/div>

Exemple d'architecture de flux data bas\u00e9e sur PAIMON<\/span><\/em><\/p>\n<\/div>

Compar\u00e9 \u00e0 d'autres frameworks de lac data (par exemple Apache Iceberg et Delta Lake), PAIMON offre un support natif unique pour le traitement unifi\u00e9 stream-batch, qui non seulement g\u00e8re efficacement le batch data, mais r\u00e9pond \u00e9galement en temps r\u00e9el au changement de data (par exemple CDC). Il est \u00e9galement compatible avec une vari\u00e9t\u00e9 de syst\u00e8mes de stockage distribu\u00e9s (par exemple OSS, S3, HDFS) et s'int\u00e8gre avec des outils OLAP (par exemple Spark, StarRocks, Doris) pour assurer un stockage s\u00e9curis\u00e9 et des lectures efficaces, fournissant un support flexible pour la prise de d\u00e9cision rapide et l'analyse data dans l'entreprise.<\/p>\n<\/div>

Principaux cas d'utilisation de PAIMON<\/h2><\/div>
\"Key<\/span><\/div>

1. Flink CDC pour l'ingestion de Data dans un lac de Data<\/h3><\/div>

PAIMON simplifie et optimise ce processus. En un seul clic, l'ensemble de la base data peut \u00eatre rapidement import\u00e9e dans le lac data, ce qui r\u00e9duit consid\u00e9rablement la complexit\u00e9 de l'architecture. Il prend en charge les mises \u00e0 jour en temps r\u00e9el et les requ\u00eates rapides \u00e0 faible co\u00fbt. En outre, il offre des options de mise \u00e0 jour flexibles qui permettent l'application de colonnes sp\u00e9cifiques ou de diff\u00e9rents types de mises \u00e0 jour agr\u00e9g\u00e9es.<\/p>\n<\/div>

2. Cr\u00e9ation de pipelines de diffusion en continu Data<\/h3><\/div>

PAIMON peut \u00eatre utilis\u00e9 pour construire un pipeline de streaming data complet, avec des capacit\u00e9s telles que
\nG\u00e9n\u00e9rer un ChangeLog, permettant un acc\u00e8s en lecture en continu \u00e0 des enregistrements enti\u00e8rement mis \u00e0 jour, facilitant ainsi la construction de puissants pipelines de lecture en continu data.<\/p>\n

PAIMON \u00e9volue vers un syst\u00e8me de file d'attente de messages avec des m\u00e9canismes de consommation. Dans sa derni\u00e8re version, il inclut la gestion du cycle de vie des journaux de modifications, permettant aux utilisateurs de d\u00e9finir des p\u00e9riodes de r\u00e9tention (par exemple, les journaux peuvent \u00eatre conserv\u00e9s pendant sept jours ou plus), \u00e0 l'instar de Kafka. Il en r\u00e9sulte une solution de pipeline de streaming l\u00e9g\u00e8re et rentable.<\/p>\n<\/div>

3. Requ\u00eates OLAP ultra-rapides<\/h3><\/div>

Alors que les deux premiers cas d'utilisation garantissent un flux de data en temps r\u00e9el, PAIMON prend \u00e9galement en charge les requ\u00eates OLAP \u00e0 grande vitesse pour analyser les data stock\u00e9es. En combinant LSM et indexation, PAIMON permet une analyse rapide de data. Son \u00e9cosyst\u00e8me prend en charge des moteurs d'interrogation tels que Flink, Spark, StarRocks et Trino, ce qui permet d'effectuer des requ\u00eates efficaces sur les data stock\u00e9es dans PAIMON.<\/span><\/p>\n<\/div>

Cas d'utilisation du ARTEFACT<\/h2><\/div>

Cas 1<\/strong>: Am\u00e9liorer l'efficacit\u00e9 de l'analyse en temps r\u00e9el Data<\/h3><\/div>
  • <\/i><\/span>
    \n

    D\u00e9fi<\/strong>:<\/strong> Un g\u00e9ant mondial de la vente au d\u00e9tail a \u00e9t\u00e9 confront\u00e9 \u00e0 des d\u00e9fis en mati\u00e8re d'analyse du comportement des utilisateurs en temps r\u00e9el et de recommandations personnalis\u00e9es sur les plates-formes de vente en magasin et de commerce \u00e9lectronique. Avec l'architecture d'analyse data traditionnelle, le syst\u00e8me ne pouvait pas g\u00e9rer efficacement l'analyse data en temps r\u00e9el \u00e0 grande \u00e9chelle, ce qui entra\u00eenait une mauvaise exp\u00e9rience pour l'utilisateur et une latence \u00e9lev\u00e9e dans les syst\u00e8mes de recommandation.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Solution<\/strong>:<\/strong> En introduisant Apache PAIMON, le client de vente au d\u00e9tail a r\u00e9ussi \u00e0 synchroniser en temps r\u00e9el les comportements d'achat des utilisateurs et l'inventaire data. Combin\u00e9 \u00e0 Flink pour le traitement des flux, le client a \u00e9t\u00e9 en mesure de g\u00e9n\u00e9rer des recommandations personnalis\u00e9es bas\u00e9es sur les data les plus r\u00e9centes. Cela a permis non seulement d'am\u00e9liorer l'exp\u00e9rience d'achat, mais aussi de r\u00e9duire les co\u00fbts d'infrastructure.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    R\u00e9sultat<\/strong>:<\/strong> Les taux de conversion des utilisateurs ont augment\u00e9 de 10%, et la latence du syst\u00e8me a \u00e9t\u00e9 r\u00e9duite de T+1 \u00e0 quelques minutes.<\/span><\/p>\n<\/div><\/li><\/ul>

    Cas 2 : <\/b>Mise en place d'un syst\u00e8me fiable de suivi en temps r\u00e9el des activit\u00e9s de l'entreprise<\/h3><\/div>
    • <\/i><\/span>
      \n

      D\u00e9fi<\/strong>:<\/strong> Le syst\u00e8me de gestion de la cha\u00eene d'approvisionnement d'un client du secteur de la vente au d\u00e9tail a \u00e9t\u00e9 confront\u00e9 \u00e0 une complexit\u00e9 croissante \u00e0 mesure que l'activit\u00e9 se d\u00e9veloppait. Cette situation a cr\u00e9\u00e9 un besoin urgent de surveillance en temps r\u00e9el des flux de travail afin de garantir la stabilit\u00e9 et l'efficacit\u00e9. Cependant, l'architecture existante du syst\u00e8me ne prenait en charge que le traitement data hors ligne, ce qui ne permettait pas de r\u00e9pondre aux exigences des op\u00e9rations en temps r\u00e9el.<\/span><\/p>\n

       <\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Solution<\/strong>:<\/strong> En introduisant le lac data de PAIMON, une architecture de lac data en temps r\u00e9el a \u00e9t\u00e9 construite en utilisant Aliyun EMR + OSS. Ce syst\u00e8me utilise Flink et Flink CDC pour collecter data \u00e0 partir de sources multiples en temps r\u00e9el. Associ\u00e9 au stockage d'objets OSS, il garantit la possibilit\u00e9 d'interroger les data et leur r\u00e9utilisation hi\u00e9rarchique. Parall\u00e8lement, il combine Doris dans la couche d'analyse pour r\u00e9soudre le probl\u00e8me de la lenteur de l'analyse OLAP et am\u00e9liorer la rapidit\u00e9 du syst\u00e8me de rapport et de suivi.<\/span><\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      R\u00e9sultat<\/strong>:<\/strong> Le d\u00e9partement de la cha\u00eene d'approvisionnement a r\u00e9alis\u00e9 un suivi en temps r\u00e9el du flux de travail, garantissant la stabilit\u00e9 du syst\u00e8me et am\u00e9liorant l'efficacit\u00e9 op\u00e9rationnelle.<\/span><\/p>\n

       <\/p>\n<\/div><\/li><\/ul>

      Les cas ci-dessus r\u00e9sument l'exp\u00e9rience pratique de ARTEFACT dans la mise en \u0153uvre d'Apache PAIMON pour ses clients. En tant que technologie de lac data en temps r\u00e9el, PAIMON offre aux entreprises une solution tr\u00e8s efficace et flexible pour relever des d\u00e9fis de traitement data complexes.\u00a0<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      \u00c0 l'\u00e8re de la transformation num\u00e9rique, les entreprises accumulent en permanence des ensembles data massifs dont l'\u00e9chelle et la complexit\u00e9 ne cessent de cro\u00eetre.<\/p>","protected":false},"featured_media":301284,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-301168","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog\/301168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/301284"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=301168"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-category?post=301168"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-language?post=301168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}