Autoren

[iee_imageartefact,artefact image_url=“artefactwp-content/uploads/2025/02/Honglin-scaled-2-1024×1024-1.jpeg” image_width=”150″ alignment=”left” click_action=”none” target=”_blank” image_shape=”blob” blob_shape=”54% 46% 77% 23% / 74% 40% 60% 26%” images_border_radius=”4″ hover_animation=”disable” class=”article-author-image” /]

Honglin Wang

Vizepräsident für Data , Artefact

Weinan (Jayce) Zhao

Senior Data , Artefact

Im Zeitalter der digitalen Transformation sammeln Unternehmen kontinuierlich riesige data an, deren Umfang und Komplexität stetig zunehmen.

Für Unternehmen ist ein data nicht nur ein technisches Mittel zur Speicherung verschiedener data, sondern auch eine Infrastruktur, die die Effizienz der data verbessert, data Entscheidungsfindung unterstützt und die Entwicklung von AI beschleunigt. Bei der Echtzeitverarbeitung, data und komplexen Geschäftsszenarien (z. B. Analyse des Nutzerverhaltens, Bestandsverwaltung, Betrugserkennung) haben traditionelle data jedoch Schwierigkeiten, den Anforderungen an schnelle Reaktionszeiten gerecht zu werden.

Als eine neue Generation der Echtzeit data -Technologie ist Apache PAIMON kompatibel mit Apache Flink, Spark und anderen gängigen Computing-Engines und unterstützt Streaming- und Batch-Verarbeitung, schnelle Abfragen sowie Leistungsoptimierung, was es zu einem wichtigen Werkzeug für die Beschleunigung AI macht.

PAIMON-Grundsätze

Apache PAIMON ist ein Speicher- und Analysesystem, das data großer data in Echtzeit unterstützt und durch LSM-Bäume (Log-Structure-Merge-Tree) sowie spaltenorientierte Speicherformate (wie ORC/Parquet) eine effiziente Abfrage ermöglicht. Es ist eng mit Flink verzahnt, um data Kafka, Protokollen und Geschäftsdatenbanken zu integrieren, und unterstützt sowohl Stream- als auch Batch-Verarbeitung, um Aktualisierungen in Echtzeit mit geringer Latenz sowie schnelle Abfragen zu ermöglichen.

PAIMON-basierte Backend data architektur

Beispiel für eine auf PAIMON basierende Backend data

Im Vergleich zu anderen data (z. B. Apache Iceberg und Delta Lake) bietet PAIMON als einziges eine native Unterstützung für eine einheitliche Stream-Batch-Verarbeitung, die nicht nur data effizient verarbeitet, sondern auch in Echtzeit auf data reagiert data z. B. CDC). Zudem ist es mit einer Vielzahl von verteilten Speichersystemen (z. B. OSS, S3, HDFS) kompatibel und lässt sich in OLAP-Tools (z. B. Spark, StarRocks, Doris) integrieren, um eine sichere Speicherung und effiziente Lesevorgänge zu gewährleisten. Damit bietet es flexible Unterstützung für schnelle Entscheidungsfindung und data im Unternehmen.

Wichtige Anwendungsfälle für PAIMON

Wichtige Anwendungsfälle für PAIMON

1. Flink CDC zur Data einem Data

PAIMON vereinfacht und optimiert diesen Prozess. Mit einem einzigen Klick lässt sich die gesamte Datenbank schnell in den data importieren, wodurch die Komplexität der Architektur erheblich reduziert wird. Die Lösung unterstützt Echtzeit-Aktualisierungen und schnelle Abfragen bei geringen Kosten. Darüber hinaus bietet sie flexible Aktualisierungsoptionen, die die Anwendung spezifischer Spalten oder verschiedener Arten von aggregierten Aktualisierungen ermöglichen.

2. Aufbau von Data für Streaming Data

Mit PAIMON lässt sich eine vollständige data aufbauen, die unter anderem folgende Funktionen bietet:
Generieren Sie ein ChangeLog, das den Streaming-Lesezugriff auf vollständig aktualisierte Datensätze ermöglicht und so den Aufbau leistungsfähiger data vereinfacht.

PAIMON entwickelt sich zu einem Message-Queue-System mit Consumer-Mechanismen. In seiner neuesten Version umfasst es eine Lebenszyklusverwaltung für Änderungsprotokolle, die es den Benutzern ermöglicht, Aufbewahrungsfristen festzulegen (z. B. können Protokolle sieben Tage oder länger aufbewahrt werden), ähnlich wie bei Kafka. Dadurch entsteht eine schlanke und kostengünstige Lösung für Streaming-Pipelines.

3. Ultraschnelle OLAP-Abfragen

Während die ersten beiden Anwendungsfälle data in Echtzeit gewährleisten, unterstützt PAIMON auch schnelle OLAP-Abfragen zur Analyse gespeicherter data. Durch die Kombination von LSM und Indizierung ermöglicht PAIMON data schnelle data . Das Ökosystem unterstützt Abfrage-Engines wie Flink, Spark, StarRocks und Trino und ermöglicht so effiziente Abfragen auf gespeicherte data PAIMON.

Anwendungsfälle ARTEFACT

Fall 1: Steigerung der Effizienz bei Data Echtzeit Data

  • Herausforderung: Ein globaler Einzelhandelsriese stand vor Herausforderungen bei der Echtzeit-Analyse des Nutzerverhaltens und der Erstellung personalisierter Empfehlungen sowohl in den Filialen als auch auf E-Commerce-Plattformen. Unter der traditionellen data war das System nicht in der Lage, große Mengen data effizient zu verarbeiten, was zu einer schlechten Nutzererfahrung und hohen Latenzzeiten in den Empfehlungssystemen führte.

  • Lösung: Durch die Einführung von Apache PAIMON gelang es dem Einzelhandelskunden, das Einkaufsverhalten der Nutzer und data in Echtzeit zu synchronisieren. In Kombination mit Flink für die Stream-Verarbeitung konnte der Kunde personalisierte Empfehlungen auf Basis der aktuellsten data generieren. Dies verbesserte nicht nur das Einkaufserlebnis, sondern senkte auch die Infrastrukturkosten.

  • Ergebnis: Die Nutzerkonversionsraten stiegen um 10 %, und die Systemlatenz wurde von T+1 auf wenige Minuten reduziert.

Fall 2: Aufbau einer zuverlässigen Echtzeit-Geschäftsüberwachung

  • Herausforderung: Das Lieferkettenmanagementsystem eines Kunden aus dem Einzelhandel sah sich mit zunehmender Komplexität konfrontiert, als das Geschäft expandierte. Dies führte zu einem dringenden Bedarf an einer Echtzeitüberwachung der Geschäftsabläufe, um Stabilität und Effizienz zu gewährleisten. Die bestehende Systemarchitektur unterstützte jedoch nur data , was den Anforderungen des Echtzeitbetriebs nicht gerecht werden konnte.

     

  • Lösung: Durch die Einführung data wurde eine data unter Verwendung von Aliyun EMR + OSS aufgebaut. Dieses System nutzte Flink und Flink CDC, um data verschiedenen Quellen in Echtzeit zu erfassen. In Kombination mit dem OSS-Objektspeicher stellte es data und deren hierarchische Wiederverwendbarkeit sicher. Gleichzeitig wird Doris in der Analyseebene integriert, um das Problem der geringen Aktualität der OLAP-Analyse zu lösen und die Aktualität des Berichts- und Überwachungssystems zu verbessern.

  • Ergebnis: Die Abteilung für Lieferkette hat eine Echtzeit-Überwachung der Geschäftsabläufe erreicht, wodurch die Systemstabilität gewährleistet und die betriebliche Effizienz gesteigert wurde.

     

Die oben genannten Fälle geben einen Überblick über die praktischen Erfahrungen ARTEFACTbei der Implementierung von Apache PAIMON für Kunden. Als Echtzeit data bietet PAIMON Unternehmen eine hocheffiziente und flexible Lösung für komplexe Herausforderungen bei data .