Organizado conjuntamente por Artefact y dbt Labs, el seminario web “Data «Calidad por diseño»: tratar las causas, no los síntomas” tenía como objetivo abordar una alineación estratégica fundamental que sigue sin aprovecharse plenamente en las empresas: la convergencia entre la gobernanza Data y el Data Engineering.
Florencia Bénézit, socio y responsable global de fabricación en Artefact, y Eric Ortiz, director de desarrollo de socios para la región EMEA en dbt Labs, presentó un marco metodológico exhaustivo para integrar la calidad de data directamente en las fases de arquitectura y diseño de los productos data, un enfoque fundamental para lograr un retorno de la inversión (ROI) cuantificable y a largo plazo.
Por qué fracasa la gestión reactiva de la calidad
En la mayoría de los entornos empresariales, la calidad data se gestiona de forma reactiva: los errores se detectan en fases posteriores del proceso, durante el consumo —por ejemplo, en los paneles de control o en el BI ejecutivo reports— y se corrigen caso por caso al final del proceso.
Este enfoque presenta tres inconvenientes principales:
- Gastos generales de explotación significativos: Los equipos Data dedican la mayor parte de su tiempo al mantenimiento correctivo y a la conciliación manual de data.
- La pérdida de confianza en las empresas: Una información contradictoria o incompleta (data) dificulta la implantación de herramientas analíticas y la toma de decisiones por parte de la dirección.
- Un obstáculo para la escalabilidad: La acumulación de correcciones puntuales complica los procesos y aumenta la deuda técnica.
La calidad de Data no puede relegarse a una limpieza a posteriori ni tratarse como un ejercicio basado exclusivamente en la documentación dentro de un catálogo data. Para que resulte eficaz, la calidad debe planificarse y ejecutarse “desde el diseño” dentro del código fuente y la arquitectura, abarcando desde la ingesta hasta el consumo.
La hoja de ruta en seis pasos: del origen al consumidor
Con el fin de abordar las causas fundamentales en lugar de los síntomas, Artefact organiza la gestión de la calidad en torno a seis eslabones de la cadena de valor de data:
- Calidad de la fuente (A)
Lo más importante es intervenir en los sistemas de origen: perfeccionar los procesos de introducción de datos de la empresa, adaptar la arquitectura empresarial y aplicar formatos de introducción de datos estrictos en las aplicaciones informáticas. - Control de la fuente (B)
Implementar comprobaciones automatizadas en la capa de datos sin procesar data para detectar anomalías en el momento de la ingesta y activar flujos de trabajo de corrección inmediatos. - Data Diseño de productos (C)
Establecer contratos estrictos de data entre los equipos de negocio y de ingeniería antes de iniciar el desarrollo. Estos contratos definen las especificaciones de los esquemas, la semántica de negocio y los umbrales de calidad aceptables para data. - Calidad del código mediante dbt (D)
Industrialización de pruebas unitarias y de integración en todas las cadenas de transformación mediante dbt. Gracias a las comprobaciones automatizadas de CI/CD (dbt build), el código que no cumple los requisitos se bloquea antes de su implementación en producción. - Seguimiento operativo (E)
Supervisión continua del rendimiento en tiempo de ejecución: seguimiento de la actualidad de data, las latencias de ejecución y los picos de volumen para evitar interrupciones en el servicio. - Observabilidad en las fases posteriores (F)
Mostrar los indicadores de estado data directamente en las herramientas de BI y de generación de informes (por ejemplo, Tableau, Sigma) para alertar a los usuarios finales en tiempo real cuando se detecten problemas.
Negocios e ingeniería: las ocho dimensiones de la calidad Data
Una iniciativa de «Calidad por Diseño» (Data) debe abordar simultáneamente los requisitos empresariales y las limitaciones técnicas:
Dimensiones empresariales (las 3 C + precisión):
- Exhaustividad: Ausencia de valores en blanco injustificados.
- Conformidad: Cumplimiento de los formatos estandarizados y las normas de negocio.
- Coherencia: Coherencia lógica entre tablas y columnas.
- Precisión: Alineación estricta con los datos de referencia del mundo real.
Dimensiones técnicas:
- Singularidad: Ausencia de claves primarias duplicadas.
- Puntualidad: La disponibilidad de Data se ajusta a los SLA previstos.
- Frescura: Cadencia de actualizaciones de data adaptada a las necesidades operativas.
- Integridad: Conservación sin pérdidas de data a lo largo de los procesos de ingesta y transferencia.
La propuesta de valor de la plataforma dbt Labs
El uso de dbt permite traducir estas dimensiones teóricas en especificaciones de código ejecutables. Las comprobaciones se declaran en un formato legible para las personas Archivos de configuración YAML, con control de versiones mediante Git, y que se ejecuta automáticamente con cada actualización del modelo.
Al combinar el linaje data de dbt, los contratos data y los asistentes basados en IA con capacidad de actuación (como dbt Wizard), los equipos de ingeniería pueden identificar la causa raíz de una anomalía en cuestión de minutos, al tiempo que mantienen un linaje completo de la transformación de principio a fin.
El impacto decisivo en la IA agentiva
La aparición de agentes de IA autónomos agrava de manera fundamental el perfil de riesgo asociado a una calidad deficiente de data. A diferencia de los paneles de control tradicionales, diseñados para orientar la toma de decisiones humanas, Agentes de IA ejecutar directamente flujos de trabajo operativos dentro de los sistemas centrales de la empresa (por ejemplo, ERP y CRM).
En este paradigma, un código data defectuoso ya no se limita a generar informes erróneos, sino que provoca transacciones automatizadas erróneas. Un modesto La tasa de error del código 1% en 10 000 transacciones diarias da como resultado 100 operaciones automatizadas defectuosas al día. Por lo tanto, la IA autónoma exige estándares inflexibles en cuanto a calidad data, baja latencia y precisión semántica.
Plan de acción para los líderes de Data
Para pasar de una postura reactiva a un marco de «Calidad por Diseño» (Data), los responsables de data deben dar prioridad a los siguientes imperativos operativos:
- Priorice los casos de uso estratégicos: Establezca contratos data para los productos data de mayor impacto en el negocio, en lugar de intentar renovar de una sola vez toda la base de activos data de la empresa.
- Automatización de las pruebas en el ciclo de vida del desarrollo: Incorpore la validación de esquemas y la detección de anomalías directamente en los flujos de trabajo de dbt dentro del flujo de trabajo de CI/CD.
- Corrija las anomalías en su origen: Aproveche la información obtenida gracias a la observabilidad para corregir la lógica de entrada en las fases iniciales y los flujos de TI de la empresa, impulsando así mejoras de calidad sostenibles y a largo plazo.
Vea el seminario web en YouTube (en francés)
