Mitveranstaltet von Artefact und dbt Labs, das Webinar “Data „Quality by Design“: Ursachen bekämpfen, nicht Symptome”zielte darauf ab, eine entscheidende strategische Ausrichtung anzusprechen, die in Unternehmen nach wie vor nicht ausreichend genutzt wird: die Konvergenz von Data-Governance und Data Engineering.“.

Florence Bénézit, Partner und Leiter des Bereichs „Global Manufacturing“ bei Artefact, sowie Eric Ortiz, Partner Development Manager EMEA bei dbt Labs, stellte ein umfassendes methodisches Rahmenwerk vor, mit dem sich die data-Qualität direkt in die Architektur- und Entwurfsphasen von data-Produkten integrieren lässt – ein grundlegender Ansatz zur Erzielung eines messbaren, langfristigen ROI.

Warum reaktives Qualitätsmanagement scheitert

In den meisten Unternehmensumgebungen wird die data-Qualität reaktiv gehandhabt: Fehler werden erst nachgelagert bei der Nutzung – beispielsweise in Dashboards oder in der BI für Führungskräfte (reports) – erkannt und am Ende der Pipeline von Fall zu Fall behoben.
Dieser Ansatz weist drei wesentliche Nachteile auf:

  • Erheblicher betrieblicher Aufwand: Die Data-Teams verbringen den Großteil ihrer Zeit mit der korrektiven Instandhaltung und der manuellen data-Abstimmung.
  • Vertrauensverlust in der Wirtschaft: Widersprüchliche oder unvollständige data-Daten behindern die Einführung von Analysesystemen und die Entscheidungsfindung auf Führungsebene.
  • Ein Hindernis für die Skalierbarkeit: Die Anhäufung von Ad-hoc-Hotfixes verkompliziert die Arbeitsabläufe und erhöht die technische Verschuldung.

Die Qualität von Data darf nicht auf eine nachträgliche Bereinigung reduziert oder als rein dokumentationsbezogene Maßnahme innerhalb eines data-Katalogs behandelt werden. Um wirksam zu sein, muss Qualität “von Grund auf” in die Codebasis und Architektur integriert und umgesetzt werden, und zwar über den gesamten Prozess von der Erfassung bis zur Nutzung hinweg.

Der 6-Stufen-Leitfaden: Von der Quelle bis zum Verbraucher

Um die Ursachen statt nur die Symptome zu beheben, gliedert Artefact das Qualitätsmanagement in sechs Glieder der data-Wertschöpfungskette:

[ A: Quellcodequalität ] ➔ [ B: Überwachung und Fehlerbehebung ] ➔ [ C: Data-Produktdesign ] ➔ [ D: Codequalität ] ➔ [ E: DataOps und Betrieb ] ➔ [ F: Service und Nutzung ]
  1. Qualität der Quelle (A)
    Von vorrangiger Bedeutung ist es, an den vorgelagerten Quellsystemen anzusetzen: die geschäftlichen Eingabeprozesse zu optimieren, die Unternehmensarchitektur anzupassen und strenge Eingabeformate in den IT-Anwendungen durchzusetzen.
  2. Quellenüberwachung (B)
    Einführung automatisierter Prüfungen auf der data-Rohdatenschicht, um bei der Datenerfassung Anomalien zu erkennen und sofortige Korrekturmaßnahmen auszulösen.
  3. Data Produktdesign (C)
    Formalisierung strenger data-Verträge zwischen den Geschäfts- und den Entwicklungsteams vor Beginn der Entwicklung. Diese Verträge legen Schemaspezifikationen, geschäftliche Semantik sowie akzeptable data-Qualitätsschwellenwerte fest.
  4. Codequalität mit dbt (D)
    Industrialisierung von Unit- und Integrationstests über Transformationspipelines hinweg mithilfe von dbt. Dank automatisierter CI/CD-Prüfungen (dbt build) wird nicht konformer Code bereits vor der Bereitstellung in der Produktion blockiert.
  5. Betriebsüberwachung (E)
    Kontinuierliche Überwachung der Laufzeitleistung: Erfassung der Aktualität von data, der Ausführungslatenzen und der Volumenspitzen, um Dienstunterbrechungen zu verhindern.
  6. Nachgelagerte Beobachtbarkeit (F)
    Die data-Gesundheitskennzahlen direkt in BI- und Berichtstools (z. B. Tableau, Sigma) anzeigen, um Endbenutzer in Echtzeit zu benachrichtigen, sobald Probleme erkannt werden.

Wirtschaft und Ingenieurwesen: Die acht Dimensionen der Data-Qualität

Eine „Quality by Design“-Initiative nach dem Data-Ansatz muss sowohl geschäftliche Anforderungen als auch technische Einschränkungen berücksichtigen:

Geschäftliche Dimensionen (die 3 Cs + Genauigkeit):

  • Vollständigkeit: Keine ungerechtfertigten fehlenden Werte.
  • Konformität: Einhaltung standardisierter Formate und Geschäftsregeln.
  • Konsistenz: Logische Kohärenz über Tabellen und Spalten hinweg.
  • Genauigkeit: Strikte Übereinstimmung mit den tatsächlichen Gegebenheiten vor Ort.

Technische Abmessungen:

  • Einzigartigkeit: Keine doppelten Primärschlüssel.
  • Aktualität: Die Verfügbarkeit von Data entspricht den festgelegten SLAs.
  • Frische: Der Rhythmus der data-Aktualisierungen ist auf die betrieblichen Anforderungen abgestimmt.
  • Integrität: Verlustfreie Beibehaltung von data über Erfassungs- und Übertragungsprozesse hinweg.

Das Wertversprechen der dbt Labs-Plattform

Durch den Einsatz von dbt werden diese theoretischen Aspekte in ausführbare Codespezifikationen umgesetzt. Die Prüfungen werden in einer für Menschen lesbaren Form deklariert YAML-Konfigurationsdateien, die über Git versionsverwaltet werden und bei jeder Modellaktualisierung automatisch ausgeführt werden.
Durch die Kombination der data-Transaktionskette von dbt, der data-Verträge und der agentenbasierten, KI-gesteuerten Assistenten (wie beispielsweise dbt Wizard) können Entwicklungsteams die Ursache einer Anomalie innerhalb weniger Minuten genau lokalisieren und dabei die vollständige End-to-End-Transaktionskette aufrechterhalten.

Die entscheidenden Auswirkungen auf die agentenbasierte KI

Das Aufkommen autonomer KI-Agenten verschärft das mit einer mangelhaften data-Qualität verbundene Risikoprofil erheblich. Im Gegensatz zu herkömmlichen Dashboards, die darauf ausgelegt sind, menschliche Entscheidungsprozesse zu unterstützen, KI-Agenten operative Arbeitsabläufe direkt in den zentralen Unternehmenssystemen (z. B. ERP- und CRM-Systemen) ausführen.

In diesem Paradigma führt ein fehlerhaftes data nicht mehr nur zu fehlerhaften Berichten, sondern löst auch fehlerhafte automatisierte Transaktionen aus. Eine bescheidene Die Fehlerquote von 1% bei 10.000 täglichen Transaktionen beträgt 100 fehlerhafte automatisierte Vorgänge pro Tag. Autonome KI erfordert daher kompromisslose Standards hinsichtlich data-Qualität, geringer Latenz und semantischer Präzision.

Aktionsplan für Führungskräfte im Rahmen von Data

Um den Übergang von einer reaktiven Haltung zu einem „Quality by Design“-Rahmenkonzept nach Data zu vollziehen, sollten Führungskräfte im Bereich data den folgenden operativen Erfordernissen Priorität einräumen:

  • Strategische Anwendungsfälle priorisieren: Schließen Sie data-Verträge für besonders wichtige data-Produkte ab, anstatt zu versuchen, den gesamten data-Bestand des Unternehmens auf einmal zu überarbeiten.
  • Automatisierung von Tests im Entwicklungszyklus: Integrieren Sie die Schema-Validierung und die Erkennung von Anomalien direkt in dbt-Pipelines innerhalb des CI/CD-Workflows.
  • Beheben Sie Anomalien an der Quelle: Nutzen Sie Erkenntnisse aus der Observability, um die vorgelagerte Eingabelogik und die IT-Abläufe im Unternehmen zu optimieren und so nachhaltige, langfristige Qualitätsverbesserungen zu erzielen.

Sehen Sie sich das Webinar auf YouTube an (auf Französisch)