Den Weg freilegen: Warum die Data-Abstammung für die Entwicklung effektiver KI-Produkte entscheidend ist

In der heutigen data-driven-Welt ist es wichtiger denn je, den Weg von data zu verstehen - von seinem Ursprung bis zu seinem endgültigen Ziel. Diese Fähigkeit, die als data Lineage bezeichnet wird, bietet einen umfassenden Überblick darüber, wie data durch ein Unternehmen fließt, und beschreibt seine Transformationen und Abhängigkeiten auf dem Weg dorthin. Data Lineage variiert in Bezug auf die Komplexität, wobei “Coarse Lineage” die Transformationen von Tabelle zu Tabelle zeigt und “Fine Lineage” auf der Ebene der Attribute liegt. Diese Bestände können in Tools wie Solidatus abgebildet werden und bieten eine automatisierte Methode zur Erstellung eines klaren Überblicks über data-Quellen, -Transformationen und -Nutzung. Bei Artefact entwerfen und erstellen unsere Teams tagtäglich data- und KI-Produkte für unsere Kunden, und Lineage hilft unseren Kunden, Fragen wie diese zu beantworten: “Welche Systeme liefern uns diese Kundenbilanz, die ungenau zu sein scheint?” oder “Warum zeigt mein Kundenkreditmodell speziell mittwochs andere Ergebnisse an?” Wir folgen einer sorgfältig strukturierten, sechsstufigen Methodik für den Einsatz von Lineage in großem Umfang, beginnend mit einer umfassenden Bewertung des einzigartigen geschäftlichen Anwendungsfalls und seines inneren Werts. Dieser Prozess gipfelt in einer nahtlosen Implementierung, bei der die laufende Wartung und die Benutzerakzeptanz im Mittelpunkt stehen.

Unternehmen nutzen data Lineage aus mehreren wichtigen Gründen, wobei die Einhaltung von Vorschriften und das data-Qualitätsmanagement im Vordergrund stehen. In der Finanzdienstleistungsbranche ist eine robuste data-Abstammung unerlässlich, um strenge Prüfungsanforderungen und Grundsätze wie den BCBS 239 zu erfüllen und die Einhaltung von Vorschriften in Bezug auf Governance, data-Architektur, data-Risikoaggregation, Genauigkeit, Integrität und Häufigkeit der Risikoberichterstattung zu gewährleisten. Zum Beispiel im kommerziellen Bankwesen, wo die Bewertung eines Hypotheken-Finanzberichts-Workflows es einem Unternehmen ermöglicht, die Herkunft und den Verbrauch von sensiblen data nachzuvollziehen.

Über die Einhaltung von Vorschriften hinaus ist data Lineage ein leistungsfähiges Instrument zur Verbesserung der data-Qualität, das es Unternehmen ermöglicht, data-Probleme zu verfolgen, die Genauigkeit zu überprüfen und das Vertrauen in ihre Informationssysteme zu erhalten. Dieser Artikel befasst sich mit den Feinheiten der data-Abstammung, insbesondere der groben Abstammung, und zeigt, warum sie zu einem Eckpfeiler moderner data-Managementstrategien geworden ist.

Aufbauend auf der Bedeutung des Verständnisses von data verändert Künstliche Intelligenz (KI) die moderne Finanzdienstleistungslandschaft, indem sie die menschliche Intelligenz simuliert, um Aufgaben auszuführen, die Lernen und Entscheidungsfindung erfordern. Die Anwendungen von KI sind vielfältig und wirkungsvoll: Konversations-KI, wie Chatbots, verbessert die Interaktion mit Kunden; Produktivitätsassistenten rationalisieren Arbeitsabläufe und automatisieren Aufgaben; und automatisierte data-Analysen beschleunigen die Erkenntnisse aus komplexen data-Sets. Im August 2024 wurden mit dem KI-Gesetz der Europäischen Union neue Vorschriften eingeführt, die eine ethische KI-Nutzung und den Schutz der Nutzerrechte gewährleisten sollen. Dies unterstreicht den globalen Wandel hin zu einer verantwortungsvollen KI-Implementierung. Diese Entwicklung unterstreicht die wachsende Notwendigkeit für Unternehmen, die Möglichkeiten der KI nicht nur zu nutzen, sondern sie auch mit sorgfältiger Aufsicht zu verwalten und so ihre Bemühungen um data-Abstammung und Qualitätsmanagement zu ergänzen.

Während die Verwendung von generativer Open-Source-KI wie ChatGPT für den persönlichen Gebrauch geeignet ist, ist die Integration von KI in ein Unternehmen und die Generierung von echtem Wert für das Unternehmen eine ganz andere Sache. Die meisten Finanzinstitute sind dabei, im Eiltempo Gen-KI-Pilotprojekte und POCs zu entwickeln. Allerdings wird erst dann wirklich Geld in die Hand genommen, wenn bewiesen ist, dass der potenzielle Nutzen verlässlich ist und das Produkt sowohl für geschäftliche als auch für technische Anwender geeignet ist. Viele Institutionen tun sich immer noch schwer, diese Technologien zu skalieren, weil sie Bedenken hinsichtlich der Zuverlässigkeit (74%), der Benutzerakzeptanz (60%)(1) und der unzureichenden technischen Expertise (60%) haben. Ein Rahmenwerk für die Skalierbarkeit von Gen AI wurde von Artefact entwickelt, um die wichtigsten Dimensionen der Skalierbarkeit zu berücksichtigen: Output-Relevanz, Erklärbarkeit, Fairness/Vorurteil, Latenz, Infrastruktur, organisatorische Effizienz und Benutzererfahrung/Adoption.

Im Zusammenhang mit KI bietet die data Abstammung einen erheblichen geschäftlichen Nutzen, da sie für Transparenz und Zuverlässigkeit bei data-driven Entscheidungen sorgt. Heute sind über 75% der Verbraucher besorgt über Fehlinformationen durch KI(2). KI wird oft als “Black Box” bezeichnet, was bedeutet, dass die Endnutzer häufig nicht verstehen, wie die Ergebnisse, die sie regelmäßig nutzen, zustande kommen. Da KI-Systeme zunehmend auf umfangreiche und komplexe data-Sets zurückgreifen, ist das Verständnis der Ursprünge und Umwandlungen dieser data entscheidend für die Aufrechterhaltung von Genauigkeit und Vertrauenswürdigkeit. Die Data-Abstammung hilft Unternehmen, die data, die in KI-Modelle einfließen, zu verfolgen und zu validieren, was für die Optimierung der Modellleistung und die Behebung von Problemen wie Verzerrungen oder Fehlern unerlässlich ist. Durch die Bereitstellung eines klaren Prüfpfads unterstützt data Lineage auch die Einhaltung von Vorschriften und verbessert data governance, was letztlich zu fundierteren, zuverlässigeren und ethischeren KI-Anwendungen führt, die bessere Geschäftsergebnisse erzielen.

Data Lineage ist entscheidend für die Erfüllung gesetzlicher und behördlicher Anforderungen im Bereich KI, insbesondere im Rahmen von Richtlinien wie dem California Consumer Privacy Act (CCPA) und dem Gramm-Leach-Bliley Act (GLBA). Nehmen wir zum Beispiel einen Anwendungsfall, bei dem es um den Kundenwechsel in einem Finanzdienstleistungsunternehmen geht. In diesem Fall fehlten dem System standardisierte Verfahren zur Anonymisierung privater Informationen und es gab keine data-Abstammung, um data-Flüsse zu verfolgen. Infolgedessen wurde die data-Anreicherung zur Maskierung sensibler Details als letzter Schritt mit minimaler Kontrolle durchgeführt. Dieser Ansatz gefährdete nicht nur den data-Datenschutz, sondern setzte das System auch Compliance-Risiken aus. Hätte unser Partnerunternehmen über eine robuste data-Abstammung in Solidatus verfügt, hätte das Unternehmen nachverfolgen können, wo data verwendet wurde, data-Transformationen erfassen, eine ordnungsgemäße Anonymisierung in jeder Phase sicherstellen und die gesetzlichen Anforderungen effektiver erfüllen können, wodurch die Privatsphäre geschützt und data governance verbessert worden wäre.

Die Mehrheit der Unternehmen (80%) gab an, dass ihr data für den Einsatz in der KI bereit ist, aber mehr als die Hälfte (52%)(3) hatten Probleme mit der Implementierung aufgrund der Qualität ihres data. Die Data-Abstammung ist für die Sicherstellung der data-Qualität in der KI-Entwicklung von entscheidender Bedeutung, da sie einen klaren Überblick darüber gibt, wie data beschafft, umgewandelt und verwendet wird. Wir bei Artefact verstehen die Notwendigkeit von data-Bereitschaft und -Qualität. Wir glauben an ein KI-Betriebsmodell, das die technischen Anforderungen gleichzeitig mit der data-Vorbereitung und -Governance entwickelt, die für den Einsatz zuverlässiger KI in großem Maßstab erforderlich sind. Unsere Teams arbeiteten an einem Modell zur Vorhersage des Kreditrisikos, das sich auf mehrere data-Tabellen stützte, um das Risiko eines Kreditnehmers zu bewerten. Das Team entdeckte bei seinen Voruntersuchungen Unstimmigkeiten zwischen diesen Tabellen, z. B. Diskrepanzen in den data-Formaten oder veraltete Informationen. Dies würde zu einer Verzerrung des Modells und einer ungenauen Risikobewertung führen. Durch die Implementierung der data-Abstammung könnte das Unternehmen die Ursprünge der data zurückverfolgen, feststellen, wo Unstimmigkeiten auftreten, und sicherstellen, dass die data-Transformationen mit den Qualitätsstandards übereinstimmen. Diese Transparenz hilft dabei, Probleme zu korrigieren, bevor sie sich auf das Modell auswirken, was letztlich zu zuverlässigeren und genaueren Vorhersagen führt und die Gesamtintegrität des KI-Systems aufrechterhält.

Data lineage verbessert die Fehlersuche in KI-Modellen, Verbesserungen und Reproduzierbarkeit, indem es einen detaillierten Überblick über die Reise von data durch den Modellierungsprozess bietet. Wenn ein Modell unerwartete Ergebnisse liefert, hilft data Lineage dabei, das data durch alle Phasen zu verfolgen - von der Erfassung über die Vorverarbeitung bis hin zum Feature Engineering. Dank dieser Transparenz können data-Wissenschaftler erkennen, wo Probleme oder Unstimmigkeiten aufgetreten sind, was eine präzise Fehlersuche und gezielte Verbesserungen erleichtert. Darüber hinaus ist die “Domain Adaptation” eine gängige Methode zur Wiederverwendung von Komponenten von Algorithmen, um den Zeit- und Ressourcenaufwand für die Erstellung eines KI-Modells von Grund auf zu reduzieren. Lineage ist für diese Reproduzierbarkeit über verschiedene Iterationen und Experimente hinweg unerlässlich, da es die Dokumentation und Verwendung von data für die Algorithmen liefert.

Artefact und Solidatus sind Kooperationspartner, die sich in der Überzeugung einig sind, dass ein effektives data-Management für den Erfolg von KI unerlässlich ist. Akhilesh Kale, einer der führenden Mitarbeiter von Artefact im Bereich Finanzdienstleistungen, erklärt: “Die data-Linie ist das Rückgrat des Vertrauens in Finanzinstitute und sorgt für die Integrität, die in einer so hochkomplexen, von regulatorischem Druck geprägten Landschaft entscheidend ist.” Diese Betonung der data-Integrität ist von zentraler Bedeutung für die Art und Weise, wie die Expertise von Artefact in der data- und KI-Ausführung die strukturierte Umgebung von Solidatus ergänzt, die bei der Verwaltung und Speicherung von grobem Datenmaterial hilft. Gemeinsam ermöglichen sie es Finanzinstituten, die Transparenz der data-Quellen für KI-Modelle zu verbessern. Phil Yeoman, ehemals bei Cardano, betont: ’Mit Solidatus ist unser data-Bestand jetzt abgebildet, modelliert und katalogisiert. In einer einzigen Ansicht kann ich dem Unternehmen zeigen, wo sich sein data befindet, wie es durch Systeme und Anwendungen fließt, welche data-Qualitätsregeln gelten und welches data der GDPR unterliegt.“ Diese nahtlose Integration von Tools und Diensten unterstreicht die transformative Kraft von data Lineage for AI. Sie vereinfacht die Einhaltung von Vorschriften, gewährleistet erstklassige data-Qualität und verbessert die Modellgenauigkeit durch die Rückverfolgung von data vom Ursprung bis zum Ziel. Diese Rückverfolgbarkeit ist von unschätzbarem Wert, wenn es darum geht, regulatorische Standards wie CCPA und GLBA zu erfüllen und gleichzeitig data-Inkonsistenzen zu identifizieren, die KI-Modelle gefährden könnten. Außerdem, data Abstammung rationalisiert die Fehlersuche, steigert die Modellleistung und gewährleistet konsistente, zuverlässige Ergebnisse.

(1) Prestianni, Timothy. “131 KI-Statistiken und Trends für (2024)”. Nationale Universität, 30. Mai 2024. https://www.nu.edu/blog/ai-statistics-trends/.

(2) Matthew Fox, “How Artificial Intelligence Is Shaping Consumer Sentiment”, Forbes, 22. September 2023, https://www.forbes.com/advisor/business/artificial-intelligence-consumer-sentiment/.

(3) Campus Technology, “Bericht: KI-Einführung wird durch Data-Qualität behindert”, 10. April 2024, https://campustechnology.com/Articles/2024/04/10/Report-AI-Adoption-Hindered-by-Data-Quality.aspx#:~:text=Organizations%20Have%20Serious%20Concerns%20Around,and%20integration%20complexity%20(59%25)