{"id":301168,"date":"2025-02-05T09:30:06","date_gmt":"2025-02-05T09:30:06","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=301168"},"modified":"2025-02-11T10:38:01","modified_gmt":"2025-02-11T10:38:01","slug":"apache-paimon-a-real-time-data-lake-framework-and-its-applications","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/nl\/blog\/apache-paimon-a-real-time-data-lake-framework-and-its-applications\/","title":{"rendered":"Apache Paimon: Een real-time Data Lake raamwerk en zijn toepassingen | De motor achter Data en AI-transformatie"},"content":{"rendered":"

Auteurs<\/h2><\/div><\/div><\/div><\/div><\/div>
\"Image\"

Honglin Wang<\/h3><\/div>

Data Engineering VP, Artefact Azi\u00eb<\/a><\/p>\n<\/div><\/div><\/div>

Weinan (Jayce) Zhao<\/span><\/h3><\/div>

Senior Data Engineer<\/span>, Artefact Azi\u00eb<\/a><\/p>\n<\/div><\/div><\/div><\/div><\/div>

In het tijdperk van digitale transformatie accumuleren bedrijven voortdurend enorme data sets met een groeiende schaal en complexiteit.<\/span><\/p>\n<\/div>

Voor ondernemingen is een data lake niet alleen een technisch middel om verschillende soorten data op te slaan, maar ook een infrastructuur om de effici\u00ebntie van data analyse te verbeteren, data-driven besluitvorming te ondersteunen en de ontwikkeling van AI te versnellen. Echter, bij real-time verwerking, streaming data analyse en complexe bedrijfsscenario's (bijv. analyse van gebruikersgedrag, voorraadbeheer, fraudedetectie), hebben traditionele data lake architecturen moeite om aan de vraag naar snelle respons te voldoen.<\/p>\n<\/div>

Als een nieuwe generatie van real-time data meertechnologie, <\/span>Apache PAIMON is compatibel met Apache Flink, Spark en andere mainstream computing engines, en ondersteunt streaming en batchverwerking, snelle query's en prestatieoptimalisatie, waardoor het een belangrijk hulpmiddel is voor het versnellen van AI-transformatie.<\/b><\/p>\n<\/div>

PAIMON Principes<\/b><\/h2><\/div>

Apache PAIMON is een opslag- en analysesysteem dat grootschalige realtime data updates ondersteunt en effici\u00ebnte query's mogelijk maakt via LSM-bomen (logstructuur merge tree) en kolomvormige opslagformaten (zoals ORC\/Parquet). Het is diep ge\u00efntegreerd met Flink om data van veranderingen te integreren vanuit Kafka, logs en zakelijke data-bases, en ondersteunt stream- en batchstreaming om updates en snelle query's met een lage latentie en in realtime te realiseren.<\/p>\n<\/div>

\"PAIMON-based<\/span><\/div>

Voorbeeld van op PAIMON gebaseerde backend data stroomarchitectuur<\/span><\/em><\/p>\n<\/div>

Vergeleken met andere data Lake frameworks (bijv. Apache Iceberg en Delta Lake), biedt PAIMON unieke native ondersteuning voor unified stream-batch processing, die niet alleen effici\u00ebnt batch data verwerkt, maar ook in real-time reageert op veranderde data (bijv. CDC). Het is ook compatibel met een verscheidenheid aan gedistribueerde opslagsystemen (bijv. OSS, S3, HDFS) en integreert met OLAP-tools (bijv. Spark, StarRocks, Doris) om veilige opslag en effici\u00ebnt lezen te garanderen, waardoor flexibele ondersteuning wordt geboden voor snelle besluitvorming en data analyse in de onderneming.<\/p>\n<\/div>

Belangrijkste PAIMON gebruikssituaties<\/h2><\/div>
\"Key<\/span><\/div>

1. Flink CDC voor het opnemen van Data in een Data-meer<\/h3><\/div>

PAIMON vereenvoudigt en optimaliseert dit proces. Met een enkele klik kan de volledige database snel in het data-meer ge\u00efmporteerd worden, waardoor de complexiteit van de architectuur sterk verminderd wordt. Het ondersteunt realtime updates en snelle queries tegen lage kosten. Daarnaast biedt het flexibele updateopties die de toepassing van specifieke kolommen of verschillende soorten geaggregeerde updates mogelijk maken.<\/p>\n<\/div>

2. Streaming Data-pijplijnen bouwen<\/h3><\/div>

PAIMON kan worden gebruikt om een complete streaming data pijplijn te bouwen, met mogelijkheden zoals:
\nGenereer ChangeLog, waardoor streaming leestoegang tot volledig bijgewerkte records mogelijk wordt, waardoor het gemakkelijker wordt om krachtige streaming data pipelines te bouwen.<\/p>\n

PAIMON ontwikkelt zich tot een berichtwachtrijsysteem met consumentenmechanismen. In de nieuwste versie bevat het lifecycle management voor change logs, waardoor gebruikers retentieperiodes kunnen defini\u00ebren (logs kunnen bijvoorbeeld zeven dagen of langer bewaard worden), vergelijkbaar met Kafka. Dit cre\u00ebert een lichtgewicht, kosteneffectieve streaming pipeline-oplossing.<\/p>\n<\/div>

3. Ultrasnelle OLAP-query's<\/h3><\/div>

Terwijl de eerste twee gebruikssituaties zorgen voor een real-time data stroom, ondersteunt PAIMON ook snelle OLAP-query's om opgeslagen data te analyseren. Door LSM en indexering te combineren, maakt PAIMON snelle data analyse mogelijk. Het ecosysteem ondersteunt query-engines zoals Flink, Spark, StarRocks en Trino, waardoor effici\u00ebnte query's op opgeslagen data binnen PAIMON mogelijk zijn.<\/span><\/p>\n<\/div>

ARTEFACT Gebruikscases<\/h2><\/div>

Geval 1<\/strong>: Verbetering van de effici\u00ebntie van real-time Data analyse<\/h3><\/div>
  • <\/i><\/span>
    \n

    Uitdaging<\/strong>:<\/strong> Een wereldwijde retailgigant werd geconfronteerd met uitdagingen op het gebied van realtime analyse van gebruikersgedrag en gepersonaliseerde aanbevelingen voor zowel in-store als e-commerce platformen. Onder de traditionele data analysearchitectuur kon het systeem niet effici\u00ebnt omgaan met grootschalige real-time data, wat leidde tot een slechte gebruikerservaring en een hoge latentie in aanbevelingssystemen.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Oplossing<\/strong>:<\/strong> Door Apache PAIMON te introduceren, kon de retailklant het winkelgedrag en de voorraad van gebruikers in real-time synchroniseren data. In combinatie met Flink voor stroomverwerking kon de klant gepersonaliseerde aanbevelingen genereren op basis van de meest actuele data. Dit verbeterde niet alleen de winkelervaring, maar verminderde ook de infrastructuurkosten.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Resultaat<\/strong>:<\/strong> De conversiepercentages van gebruikers stegen met 10%, en de systeemlatentie werd teruggebracht van T+1 tot een kwestie van minuten.<\/span><\/p>\n<\/div><\/li><\/ul>

    Geval 2: <\/b>Betrouwbare real-time bedrijfsmonitoring bouwen<\/h3><\/div>
    • <\/i><\/span>
      \n

      Uitdaging<\/strong>:<\/strong> Het supply chain managementsysteem van een retailklant werd steeds complexer naarmate de activiteiten toenamen. Hierdoor ontstond een dringende behoefte aan realtime bewaking van bedrijfsworkflows als middel om stabiliteit en effici\u00ebntie te garanderen. De bestaande systeemarchitectuur ondersteunde echter alleen offline data verwerking, wat niet voldeed aan de eisen van real-time operaties.<\/span><\/p>\n

       <\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Oplossing<\/strong>:<\/strong> Door de introductie van het PAIMON data meer werd een real-time data meer architectuur gebouwd met behulp van Aliyun EMR + OSS. Dit systeem gebruikte Flink en Flink CDC om data van meerdere bronnen in real-time te verzamelen. In combinatie met OSS-objectopslag zorgde het voor data-doorzoekbaarheid en hi\u00ebrarchisch hergebruik. Ondertussen combineert het Doris in de analyselaag om het probleem van de lage tijdigheid van OLAP-analyse op te lossen en de tijdigheid van het rapportage- en monitoringsysteem te verbeteren.<\/span><\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Resultaat<\/strong>:<\/strong> De afdeling toeleveringsketen kreeg realtime bewaking van de bedrijfsworkflow, waardoor de stabiliteit van het systeem werd gegarandeerd en de operationele effici\u00ebntie werd verbeterd.<\/span><\/p>\n

       <\/p>\n<\/div><\/li><\/ul>

      Bovenstaande cases zijn een samenvatting van ARTEFACT's praktische ervaring met het implementeren van Apache PAIMON voor klanten. Als een real-time data lake technologie, biedt PAIMON ondernemingen een zeer effici\u00ebnte en flexibele oplossing om complexe data verwerkingsuitdagingen aan te pakken.\u00a0<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      In het tijdperk van digitale transformatie accumuleren bedrijven voortdurend enorme data sets met een groeiende schaal en complexiteit.<\/p>","protected":false},"featured_media":301284,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-301168","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/blog\/301168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/media\/301284"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/media?parent=301168"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/blog-category?post=301168"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/nl\/wp-json\/wp\/v2\/blog-language?post=301168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}