{"id":301168,"date":"2025-02-05T09:30:06","date_gmt":"2025-02-05T09:30:06","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=301168"},"modified":"2025-02-11T10:38:01","modified_gmt":"2025-02-11T10:38:01","slug":"apache-paimon-a-real-time-data-lake-framework-and-its-applications","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/es\/blog\/apache-paimon-a-real-time-data-lake-framework-and-its-applications\/","title":{"rendered":"Apache Paimon: Un marco Data Lake en tiempo real y sus aplicaciones | El motor que impulsa la transformaci\u00f3n de la Data y la IA"},"content":{"rendered":"

Autores<\/h2><\/div><\/div><\/div><\/div><\/div>
\"Image\"

Honglin Wang<\/h3><\/div>

Data Engineering VP, Artefact Asia<\/a><\/p>\n<\/div><\/div><\/div>

Weinan (Jayce) Zhao<\/span><\/h3><\/div>

Senior Data Engineer<\/span>, Artefact Asia<\/a><\/p>\n<\/div><\/div><\/div><\/div><\/div>

En la era de la transformaci\u00f3n digital, las empresas acumulan continuamente conjuntos masivos de data con una escala y complejidad crecientes.<\/span><\/p>\n<\/div>

Para las empresas, un lago data no es s\u00f3lo un medio t\u00e9cnico para almacenar diferentes tipos de data, sino tambi\u00e9n una infraestructura para mejorar la eficiencia del an\u00e1lisis data, apoyar la toma de decisiones data-driven y acelerar el desarrollo de la IA. Sin embargo, en el procesamiento en tiempo real, el an\u00e1lisis de data en flujo continuo y los escenarios empresariales complejos (por ejemplo, el an\u00e1lisis del comportamiento de los usuarios, la gesti\u00f3n de inventarios o la detecci\u00f3n de fraudes), las arquitecturas tradicionales de data lake tienen dificultades para satisfacer la demanda de respuesta r\u00e1pida.<\/p>\n<\/div>

Como una nueva generaci\u00f3n de tecnolog\u00eda lago data en tiempo real, <\/span>Apache PAIMON es compatible con Apache Flink, Spark y otros motores inform\u00e1ticos convencionales, y admite el procesamiento en flujo y por lotes, las consultas r\u00e1pidas y la optimizaci\u00f3n del rendimiento, lo que lo convierte en una herramienta importante para acelerar la transformaci\u00f3n de la IA.<\/b><\/p>\n<\/div>

Principios PAIMON<\/b><\/h2><\/div>

Apache PAIMON es un sistema de almacenamiento y an\u00e1lisis que admite actualizaciones data a gran escala en tiempo real y logra consultas eficientes mediante \u00e1rboles LSM (\u00e1rbol de fusi\u00f3n de estructuras de registro) y formatos de almacenamiento en columnas (como ORC\/Parquet). Est\u00e1 profundamente integrado con Flink para integrar cambios data de Kafka, logs y bases de datos data empresariales, y admite streaming y streaming por lotes para lograr actualizaciones en tiempo real de baja latencia y consultas r\u00e1pidas.<\/p>\n<\/div>

\"PAIMON-based<\/span><\/div>

Ejemplo de arquitectura de flujo data backend basada en PAIMON<\/span><\/em><\/p>\n<\/div>

En comparaci\u00f3n con otros frameworks de lago data (por ejemplo, Apache Iceberg y Delta Lake), PAIMON ofrece de forma exclusiva soporte nativo para el procesamiento unificado de flujo por lotes, que no solo gestiona de forma eficiente el data por lotes, sino que tambi\u00e9n responde en tiempo real a los data modificados (por ejemplo, CDC). Tambi\u00e9n es compatible con una variedad de sistemas de almacenamiento distribuido (por ejemplo, OSS, S3, HDFS) y se integra con herramientas OLAP (por ejemplo, Spark, StarRocks, Doris) para garantizar un almacenamiento seguro y lecturas eficientes, proporcionando un soporte flexible para la toma r\u00e1pida de decisiones y el an\u00e1lisis data en la empresa.<\/p>\n<\/div>

Casos clave de uso de PAIMON<\/h2><\/div>
\"Key<\/span><\/div>

1. Flink CDC para la ingesta de Data en un lago Data<\/h3><\/div>

PAIMON simplifica y optimiza este proceso. Con un solo clic de ingesti\u00f3n, toda la base data puede importarse r\u00e1pidamente al lago data, reduciendo as\u00ed en gran medida la complejidad de la arquitectura. Admite actualizaciones en tiempo real y consultas r\u00e1pidas a bajo coste. Adem\u00e1s, ofrece opciones de actualizaci\u00f3n flexibles que permiten la aplicaci\u00f3n de columnas espec\u00edficas o diferentes tipos de actualizaciones agregadas.<\/p>\n<\/div>

2. Construcci\u00f3n de canalizaciones de streaming Data<\/h3><\/div>

PAIMON puede utilizarse para construir una tuber\u00eda completa de flujo data , con capacidades que incluyen:
\nGenere ChangeLog, permitiendo el acceso de lectura en streaming a registros totalmente actualizados, facilitando la construcci\u00f3n de potentes pipelines de streaming data.<\/p>\n

PAIMON est\u00e1 evolucionando hacia un sistema de colas de mensajes con mecanismos de consumo. En su \u00faltima versi\u00f3n, incluye la gesti\u00f3n del ciclo de vida de los registros de cambios, lo que permite a los usuarios definir periodos de retenci\u00f3n (por ejemplo, los registros pueden conservarse durante siete d\u00edas o m\u00e1s), de forma similar a Kafka. Esto crea una soluci\u00f3n de canalizaci\u00f3n de flujo ligera y rentable.<\/p>\n<\/div>

3. Consultas OLAP ultrarr\u00e1pidas<\/h3><\/div>

Mientras que los dos primeros casos de uso garantizan el flujo de data en tiempo real, PAIMON tambi\u00e9n admite consultas OLAP de alta velocidad para analizar data almacenados. Al combinar LSM e indexaci\u00f3n, PAIMON permite un an\u00e1lisis data r\u00e1pido. Su ecosistema es compatible con motores de consulta como Flink, Spark, StarRocks y Trino, lo que permite realizar consultas eficientes sobre data almacenados dentro de PAIMON.<\/span><\/p>\n<\/div>

ARTEFACT Casos de uso<\/h2><\/div>

Caso 1<\/strong>: Mejora de la eficacia del an\u00e1lisis en tiempo real Data<\/h3><\/div>
  • <\/i><\/span>
    \n

    Desaf\u00edo<\/strong>:<\/strong> Un gigante mundial de la venta al por menor se enfrentaba a retos en el an\u00e1lisis del comportamiento de los usuarios en tiempo real y las recomendaciones personalizadas en las plataformas de tienda y comercio electr\u00f3nico. Con la arquitectura de an\u00e1lisis data tradicional, el sistema no pod\u00eda gestionar eficientemente el data en tiempo real a gran escala, lo que provocaba una mala experiencia de usuario y una alta latencia en los sistemas de recomendaci\u00f3n.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Soluci\u00f3n<\/strong>:<\/strong> Al introducir Apache PAIMON, el cliente minorista consigui\u00f3 sincronizar en tiempo real los comportamientos de compra de los usuarios y el inventario data. Combinado con Flink para el procesamiento de flujos, el cliente pudo generar recomendaciones personalizadas basadas en el data m\u00e1s actualizado. Esto no s\u00f3lo mejor\u00f3 la experiencia de compra, sino que tambi\u00e9n redujo los costes de infraestructura.<\/span><\/p>\n<\/div><\/li>

  • <\/i><\/span>
    \n

    Resultado<\/strong>:<\/strong> Las tasas de conversi\u00f3n de los usuarios aumentaron en 10%, y la latencia del sistema se redujo de T+1 a cuesti\u00f3n de minutos.<\/span><\/p>\n<\/div><\/li><\/ul>

    Caso 2: <\/b>Construir una supervisi\u00f3n fiable de las empresas en tiempo real<\/h3><\/div>
    • <\/i><\/span>
      \n

      Desaf\u00edo<\/strong>:<\/strong> El sistema de gesti\u00f3n de la cadena de suministro de un cliente minorista se enfrentaba a una complejidad creciente a medida que aumentaba el negocio. Esto cre\u00f3 una necesidad urgente de supervisi\u00f3n en tiempo real de los flujos de trabajo empresariales como medio para garantizar la estabilidad y la eficacia. Sin embargo, la arquitectura del sistema existente s\u00f3lo admit\u00eda el procesamiento data fuera de l\u00ednea, lo que no pod\u00eda satisfacer las demandas de las operaciones en tiempo real.<\/span><\/p>\n

       <\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Soluci\u00f3n<\/strong>:<\/strong> Con la introducci\u00f3n del lago PAIMON data, se construy\u00f3 una arquitectura de lago data en tiempo real utilizando Aliyun EMR + OSS. Este sistema utiliz\u00f3 Flink y Flink CDC para recopilar data de m\u00faltiples fuentes en tiempo real. Combinado con el almacenamiento de objetos OSS, garantizaba la consulta de data y su reutilizaci\u00f3n jer\u00e1rquica. Mientras tanto, combina Doris en la capa de an\u00e1lisis para resolver el problema de la baja puntualidad del an\u00e1lisis OLAP y mejorar la puntualidad del sistema de informes y supervisi\u00f3n.<\/span><\/p>\n<\/div><\/li>

    • <\/i><\/span>
      \n

      Resultado<\/strong>:<\/strong> El departamento de la cadena de suministro consigui\u00f3 supervisar el flujo de trabajo empresarial en tiempo real, garantizando la estabilidad del sistema y mejorando la eficacia operativa.<\/span><\/p>\n

       <\/p>\n<\/div><\/li><\/ul>

      Los casos anteriores resumen la experiencia pr\u00e1ctica de ARTEFACT en la implementaci\u00f3n de Apache PAIMON para clientes. Como tecnolog\u00eda de lago data en tiempo real, PAIMON ofrece a las empresas una soluci\u00f3n muy eficaz y flexible para afrontar retos de procesamiento data complejos.\u00a0<\/span><\/p>\n<\/div><\/div><\/div><\/div><\/article><\/p>","protected":false},"excerpt":{"rendered":"

      En la era de la transformaci\u00f3n digital, las empresas acumulan continuamente conjuntos masivos de data con una escala y complejidad crecientes.<\/p>","protected":false},"featured_media":301284,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[22035],"blog-language":[2991],"class_list":["post-301168","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-data-ai-consulting","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog\/301168","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media\/301284"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/media?parent=301168"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-category?post=301168"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/es\/wp-json\/wp\/v2\/blog-language?post=301168"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}