{"id":301168,"date":"2025-02-05T09:30:06","date_gmt":"2025-02-05T09:30:06","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=301168"},"modified":"2025-02-11T10:38:01","modified_gmt":"2025-02-11T10:38:01","slug":"apache-paimon-a-real-time-data-lake-framework-and-its-applications","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/de\/blog\/apache-paimon-a-real-time-data-lake-framework-and-its-applications\/","title":{"rendered":"Apache Paimon: Ein Real-Time Data Lake Framework und seine Anwendungen | Der Motor f\u00fcr die Transformation von Data und KI"},"content":{"rendered":"

Autoren<\/h2><\/div><\/div><\/div><\/div><\/div>
\"Image\"

Honglin Wang<\/h3><\/div>

Data Engineering VP, Artefact Asien<\/a><\/p>\n<\/div><\/div><\/div>

Weinan (Jayce) Zhao<\/span><\/h3><\/div>

Senior Data Engineer<\/span>, Artefact Asien<\/a><\/p>\n<\/div><\/div><\/div><\/div><\/div>

In der \u00c4ra der digitalen Transformation h\u00e4ufen Unternehmen kontinuierlich riesige data-Sets an, die immer gr\u00f6\u00dfer und komplexer werden.<\/span><\/p>\n<\/div>

F\u00fcr Unternehmen ist ein data Lake nicht nur ein technisches Mittel zur Speicherung verschiedener Arten von data, sondern auch eine Infrastruktur zur Verbesserung der Effizienz von data-Analysen, zur Unterst\u00fctzung von data-driven-Entscheidungen und zur Beschleunigung der Entwicklung von KI. Bei der Echtzeitverarbeitung, der Streaming-Analyse von data und komplexen Gesch\u00e4ftsszenarien (z.B. Analyse des Nutzerverhaltens, Bestandsverwaltung, Betrugserkennung) haben herk\u00f6mmliche data-Lake-Architekturen jedoch Schwierigkeiten, die Anforderungen an eine schnelle Reaktion zu erf\u00fcllen.<\/p>\n<\/div>

Als eine neue Generation der Echtzeit data See-Technologie, <\/span>Apache PAIMON ist mit Apache Flink, Spark und anderen Mainstream-Computing-Engines kompatibel und unterst\u00fctzt Streaming- und Batch-Verarbeitung, schnelle Abfragen und Leistungsoptimierung, was es zu einem wichtigen Werkzeug f\u00fcr die Beschleunigung der KI-Transformation macht.<\/b><\/p>\n<\/div>

PAIMON-Grunds\u00e4tze<\/b><\/h2><\/div>

Apache PAIMON ist ein Speicher- und Analysesystem, das data-Aktualisierungen in gro\u00dfem Umfang in Echtzeit unterst\u00fctzt und effiziente Abfragen durch LSM-B\u00e4ume (Log Structure Merge Tree) und spaltenf\u00f6rmige Speicherformate (wie ORC\/Parquet) erm\u00f6glicht. Es ist tief in Flink integriert, um data-\u00c4nderungen aus Kafka, Protokollen und gesch\u00e4ftlichen data-Datenbanken zu integrieren, und unterst\u00fctzt Stream- und Batch-Streaming, um Aktualisierungen mit niedriger Latenz, in Echtzeit und schnelle Abfragen zu erreichen.<\/p>\n<\/div>

\"PAIMON-based<\/span><\/div>

Beispiel einer PAIMON-basierten Backend data-Flow-Architektur<\/span><\/em><\/p>\n<\/div>

Im Vergleich zu anderen data-Lake-Frameworks (z.B. Apache Iceberg und Delta Lake) bietet PAIMON eine einzigartige native Unterst\u00fctzung f\u00fcr eine einheitliche Stream-Batch-Verarbeitung, die nicht nur effizient mit Batch-data umgeht, sondern auch in Echtzeit auf ver\u00e4nderte data (z.B. CDC) reagiert. PAIMON ist au\u00dferdem mit einer Vielzahl von verteilten Speichersystemen (z.B. OSS, S3, HDFS) kompatibel und l\u00e4sst sich mit OLAP-Tools (z.B. Spark, StarRocks, Doris) integrieren, um eine sichere Speicherung und effiziente Lesevorg\u00e4nge zu gew\u00e4hrleisten und so eine flexible Unterst\u00fctzung f\u00fcr eine schnelle Entscheidungsfindung und data-Analyse im Unternehmen zu bieten.<\/p>\n<\/div>

Wichtige PAIMON Anwendungsf\u00e4lle<\/h2><\/div>
\"Key<\/span><\/div>

1. Flink CDC f\u00fcr das Einbringen von Data in einen Data-See<\/h3><\/div>

PAIMON vereinfacht und optimiert diesen Prozess. Mit einem einzigen Klick kann die gesamte data-Basis schnell in den data-See importiert werden, wodurch die Komplexit\u00e4t der Architektur erheblich reduziert wird. Es unterst\u00fctzt Echtzeit-Updates und schnelle Abfragen zu geringen Kosten. Dar\u00fcber hinaus bietet es flexible Aktualisierungsoptionen, die die Anwendung spezifischer Spalten oder verschiedener Arten von aggregierten Aktualisierungen erm\u00f6glichen.<\/p>\n<\/div>

2. Aufbau von Streaming Data Pipelines<\/h3><\/div>

PAIMON kann zum Aufbau einer kompletten Streaming data-Pipeline verwendet werden, mit Funktionen wie:
\nErzeugen Sie ein ChangeLog, das den Streaming-Lesezugriff auf vollst\u00e4ndig aktualisierte Datens\u00e4tze erm\u00f6glicht und so den Aufbau leistungsstarker Streaming data-Pipelines erleichtert.<\/p>\n

PAIMON entwickelt sich zu einem Nachrichtenwarteschlangensystem mit Verbrauchermechanismen. In seiner neuesten Version enth\u00e4lt es eine Lebenszyklusverwaltung f\u00fcr \u00c4nderungsprotokolle, die es Benutzern erm\u00f6glicht, Aufbewahrungszeitr\u00e4ume zu definieren (z. B. k\u00f6nnen Protokolle sieben Tage oder l\u00e4nger aufbewahrt werden), \u00e4hnlich wie bei Kafka. So entsteht eine leichtgewichtige, kosteng\u00fcnstige Streaming-Pipeline-L\u00f6sung.<\/p>\n<\/div>

3. Ultra-schnelle OLAP-Abfragen<\/h3><\/div>

W\u00e4hrend die ersten beiden Anwendungsf\u00e4lle einen data-Fluss in Echtzeit gew\u00e4hrleisten, unterst\u00fctzt PAIMON auch Hochgeschwindigkeits-OLAP-Abfragen zur Analyse von gespeicherten data. Durch die Kombination von LSM und Indizierung erm\u00f6glicht PAIMON eine schnelle data-Analyse. Sein \u00d6kosystem unterst\u00fctzt Abfrage-Engines wie Flink, Spark, StarRocks und Trino und erm\u00f6glicht so effiziente Abfragen von gespeicherten data innerhalb von PAIMON.<\/span><\/p>\n<\/div>

ARTEFACT Anwendungsf\u00e4lle<\/h2><\/div>

Fall 1<\/strong>: Verbesserung der Effizienz der Data-Echtzeitanalyse<\/h3><\/div>
  • <\/i><\/span>
    \n

    Herausforderung<\/strong>:<\/strong> Ein globaler Einzelhandelsriese stand vor der Herausforderung, das Nutzerverhalten in Echtzeit zu analysieren und personalisierte Empfehlungen f\u00fcr die Plattformen in den Gesch\u00e4ften und im E-Commerce zu erstellen. Mit der traditionellen data-Analysearchitektur konnte das System nicht effizient mit data in gro\u00dfem Ma\u00dfstab in Echtzeit umgehen, was zu einem schlechten Benutzererlebnis und hohen Latenzzeiten in den Empfehlungssystemen f\u00fchrte.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    L\u00f6sung<\/strong>:<\/strong> Durch die Einf\u00fchrung von Apache PAIMON erreichte der Einzelhandels-Client eine Echtzeit-Synchronisierung des Einkaufsverhaltens der Benutzer und des Bestands data. In Kombination mit Flink f\u00fcr die Stream-Verarbeitung war der Kunde in der Lage, personalisierte Empfehlungen auf der Grundlage der aktuellsten data zu generieren. Dadurch wurde nicht nur das Einkaufserlebnis verbessert, sondern auch die Infrastrukturkosten gesenkt.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Ergebnis<\/strong>:<\/strong> Die Konversionsraten der Benutzer stiegen um 10%, und die Latenzzeit des Systems wurde von T+1 auf wenige Minuten reduziert.<\/span><\/p>\n<\/div><\/li><\/ul>

    Fall 2: <\/b>Aufbau einer zuverl\u00e4ssigen Echtzeit-Gesch\u00e4fts\u00fcberwachung<\/h3><\/div>
    • <\/i><\/span>
      \n

      Herausforderung<\/strong>:<\/strong> Das Supply-Chain-Management-System eines Einzelhandelskunden wurde immer komplexer, als das Gesch\u00e4ft expandierte. Dadurch entstand der dringende Bedarf an einer Echtzeit\u00fcberwachung der Gesch\u00e4ftsabl\u00e4ufe, um Stabilit\u00e4t und Effizienz zu gew\u00e4hrleisten. Die bestehende Systemarchitektur unterst\u00fctzte jedoch nur die Offline-Verarbeitung von data, die den Anforderungen des Echtzeitbetriebs nicht gerecht werden konnte.<\/span><\/p>\n

       <\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      L\u00f6sung<\/strong>:<\/strong> Mit der Einf\u00fchrung von PAIMON data lake wurde eine Echtzeit data lake Architektur mit Aliyun EMR + OSS aufgebaut. Dieses System verwendete Flink und Flink CDC, um data aus mehreren Quellen in Echtzeit zu sammeln. In Kombination mit dem OSS-Objektspeicher gew\u00e4hrleistet es die Abfragbarkeit von data und die hierarchische Wiederverwendung. Gleichzeitig kombiniert es Doris in der Analyseschicht, um das Problem der geringen Aktualit\u00e4t der OLAP-Analyse zu l\u00f6sen und die Aktualit\u00e4t des Berichts- und \u00dcberwachungssystems zu verbessern.<\/span><\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Ergebnis<\/strong>:<\/strong> Die Abteilung f\u00fcr die Lieferkette konnte ihre Gesch\u00e4ftsabl\u00e4ufe in Echtzeit \u00fcberwachen, was die Systemstabilit\u00e4t sicherstellt und die betriebliche Effizienz erh\u00f6ht.<\/span><\/p>\n

       <\/p>\n<\/div><\/li><\/ul>

      Die oben genannten F\u00e4lle fassen die praktischen Erfahrungen von ARTEFACT bei der Implementierung von Apache PAIMON f\u00fcr Kunden zusammen. Als Echtzeit-data-See-Technologie bietet PAIMON Unternehmen eine hocheffiziente und flexible L\u00f6sung f\u00fcr die Bew\u00e4ltigung komplexer data-Verarbeitungsaufgaben.\u00a0<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      In der \u00c4ra der digitalen Transformation h\u00e4ufen Unternehmen kontinuierlich riesige data-Sets an, die immer gr\u00f6\u00dfer und komplexer werden.<\/p>","protected":false},"featured_media":301284,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-301168","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/301168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/301284"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=301168"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=301168"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=301168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}