Den Weg freilegen: Warum Data Abstammung für die Entwicklung wirksamer Produkte entscheidend ist AI

In der heutigen data-gesteuerten Welt ist es wichtiger denn je, den Weg von data- von seinem Ursprung bis zu seinem endgültigen Ziel - zu verstehen. Diese Fähigkeit, die als data lineage bezeichnet wird, bietet einen umfassenden Überblick darüber, wie data durch ein Unternehmen fließt, und zeigt die Transformationen und Abhängigkeiten entlang des Weges auf. Data lineage variiert in Bezug auf die Komplexität, wobei "coarse lineage" die Tabelle-zu-Tabelle-Transformationen aufzeigt und "fine lineage" auf der Attributebene liegt. Diese Bestände können in Tools wie Solidatus abgebildet werden, was eine automatisierte Methode zur Erstellung eines klaren Überblicks über data Quellen, Transformation und Verwendung bietet. data Bei Artefact entwerfen und erstellen unsere Teams tagtäglich data und AI Produkte für unsere Kunden, und Lineage hilft unseren Kunden, Fragen zu beantworten wie: "Welche Systeme zeigen uns diese Kundenbilanz an, da sie ungenau zu sein scheint?" oder "Warum zeigt mein Modell für die Kreditneigung meiner Kunden speziell mittwochs andere Ergebnisse an?" Wir folgen einer sorgfältig strukturierten, sechsstufigen Methodik für den Einsatz von Lineage in großem Umfang, beginnend mit einer umfassenden Bewertung des einzigartigen geschäftlichen Anwendungsfalls und seines inhärenten Wertes. Dieser Prozess gipfelt in einer nahtlosen Implementierung, bei der die laufende Wartung und die Benutzerakzeptanz im Mittelpunkt stehen.

Unternehmen nutzen data Lineage aus mehreren wichtigen Gründen, wobei die Einhaltung von Vorschriften und data Qualitätsmanagement an erster Stelle stehen. In der Finanzdienstleistungsbranche ist eine robuste data Lineage unerlässlich, um strenge Prüfungsanforderungen und Grundsätze wie den BCBS 239 zu erfüllen und die Einhaltung von Vorschriften in Bezug auf Governance, data Architektur, Risiko data Aggregation, Genauigkeit, Integrität und Häufigkeit der Risikoberichterstattung zu gewährleisten. Ein Beispiel aus dem kommerziellen Bankwesen: Die Bewertung eines Hypotheken-Finanzberichts-Workflows ermöglicht es einem Unternehmen, die Herkunft und den Verbrauch sensibler data zu verfolgen.

Über die Einhaltung von Vorschriften hinaus ist data lineage ein leistungsfähiges Instrument zur Verbesserung der data Qualität, das es Unternehmen ermöglicht, data Probleme zu verfolgen, die Genauigkeit zu überprüfen und das Vertrauen in ihre Informationssysteme zu erhalten. Dieser Artikel befasst sich mit den Feinheiten von data lineage, insbesondere coarse lineage, und untersucht, warum es zu einem Eckpfeiler moderner data Managementstrategien geworden ist.

Aufbauend auf der Bedeutung des Verständnisses data verändert Artificial Intelligence (AI) die moderne Finanzdienstleistungslandschaft, indem es menschliche Intelligenz simuliert, um Aufgaben auszuführen, die Lernen und Entscheidungsfindung erfordern. AIDie Anwendungen sind vielfältig und wirkungsvoll: Konversation AI, wie Chatbots, verbessert die Interaktion mit Kunden; Produktivitätsassistenten rationalisieren Arbeitsabläufe und automatisieren Aufgaben; und automatisierte data Analysen beschleunigen die Erkenntnisse aus komplexen Datensätzen. Im August 2024 führte die Europäische Union mit AI neue Vorschriften ein, die eine ethische AI Nutzung und den Schutz der Nutzerrechte gewährleisten sollen, was den weltweiten Wandel hin zu einer verantwortungsbewussten AI Umsetzung verdeutlicht. Diese Entwicklung unterstreicht die wachsende Notwendigkeit für Organisationen, nicht nur die Möglichkeiten von AIzu nutzen, sondern sie auch mit sorgfältiger Aufsicht zu verwalten und ihre Bemühungen in data Abstammung und Qualitätsmanagement zu ergänzen.

Während die Verwendung von Open-Source Generative AI wie ChatGPT für den persönlichen Gebrauch, die Integration von AI in eine Organisation und die Generierung von echtem Wert für das Unternehmen ist ein anderes Spiel. Die meisten Finanzinstitute sind dabei, im Eiltempo Pilotprojekte und POCs der Generation AI zu entwickeln, aber echte Investitionen werden erst dann getätigt, wenn bewiesen ist, dass die potenziellen Vorteile verlässlich sind und das Produkt sowohl für geschäftliche als auch für technische Nutzer geeignet ist. Viele Institutionen haben immer noch Schwierigkeiten, diese Technologien zu skalieren, weil sie Bedenken hinsichtlich der Zuverlässigkeit (74 %), der Benutzerakzeptanz (60 %)(1) und der unzureichenden technischen Kompetenz (60 %) haben. Ein Skalierbarkeitsrahmen der Generation AI wurde von Artefact entwickelt, um die wichtigsten Dimensionen der Skalierbarkeit zu berücksichtigen: Output-Relevanz, Erklärbarkeit, Fairness/Vorurteil, Latenz, Infrastruktur, organisatorische Effizienz und Benutzererfahrung/Adoption.

Im Zusammenhang mit AI bietet data einen beträchtlichen geschäftlichen Nutzen, indem es Transparenz und Zuverlässigkeit bei data-gesteuerten Entscheidungen gewährleistet. Heute sind über 75 % der Verbraucher besorgt über Fehlinformationen von AI(2). AI wird oft als "Black Box" bezeichnet, was bedeutet, dass die Endnutzer häufig nicht verstehen, wie die von ihnen regelmäßig genutzten Ergebnisse zustande kommen. Da sich AI Systeme zunehmend auf umfangreiche und komplexe Datensätze stützen, ist das Verständnis des Ursprungs und der Umwandlung dieser data für die Aufrechterhaltung der Genauigkeit und Vertrauenswürdigkeit von entscheidender Bedeutung. Data lineage hilft Organisationen, die data , die in AI Modelle einfließen, zu verfolgen und zu validieren, was für die Optimierung der Modellleistung und die Behebung von Problemen wie Verzerrungen oder Fehlern unerlässlich ist. Durch die Bereitstellung eines klaren Prüfpfads unterstützt data lineage auch die Einhaltung von Vorschriften und verbessert data die Unternehmensführung, was letztendlich zu sachkundigeren, zuverlässigeren und ethischeren AI Anwendungen führt, die bessere Geschäftsergebnisse erzielen.

Data Lineage ist entscheidend für die Erfüllung gesetzlicher und behördlicher Anforderungen in AI, insbesondere im Rahmen von Richtlinien wie dem California Consumer Privacy Act (CCPA) und dem Gramm-Leach-Bliley Act (GLBA). Nehmen wir als Beispiel einen Anwendungsfall, bei dem es um den Kundenwechsel innerhalb eines Finanzdienstleistungsunternehmens geht. In diesem Fall fehlte es dem System an standardisierten Verfahren zur Anonymisierung privater Informationen und es gab keine data Lineage, um die data Ströme zu verfolgen. Infolgedessen wurde die data Anreicherung zur Maskierung sensibler Details in einem letzten Schritt mit minimaler Kontrolle durchgeführt. Dieser Ansatz gefährdete nicht nur die data Privatsphäre, sondern setzte das System auch Risiken bei der Einhaltung von Vorschriften aus. Hätte unsere Partnerorganisation über eine robuste data Datenkette in Solidatus verfügt, hätte die Organisation nachverfolgen können, wo data verwendet wurde, data Umwandlungen erfasst, eine ordnungsgemäße Anonymisierung auf jeder Stufe sichergestellt und gesetzliche Anforderungen effektiver erfüllt, wodurch der Datenschutz geschützt und die data Governance verbessert worden wäre.

Die Mehrheit der Unternehmen (80 %) gab an, dass ihre data in AI einsatzbereit ist, doch mehr als die Hälfte (52 %)(3) hatten Probleme bei der Implementierung, die auf der Qualität ihrer data beruhten. Data Die Abstammung ist für die Gewährleistung der data Qualität bei der AI Entwicklung von entscheidender Bedeutung, da sie einen klaren Überblick darüber bietet, wie data beschafft, umgewandelt und genutzt wird. Bei Artefact sind wir uns der Notwendigkeit von data Bereitschaft und Qualität bewusst. Wir glauben an ein AI Betriebsmodell, das die technischen Anforderungen gleichzeitig mit der data Vorbereitung und Steuerung entwickelt, die für den Einsatz von zuverlässigen AI in großem Maßstab erforderlich sind. Unsere Teams arbeiteten an einem Modell zur Vorhersage des Kreditrisikos, das sich auf mehrere data Tabellen stützte, um das Risiko eines Kreditnehmers zu bewerten. Das Team entdeckte bei seinen Voruntersuchungen Unstimmigkeiten zwischen diesen Tabellen, z. B. Diskrepanzen in data Formaten oder veraltete Informationen. Dies führte dazu, dass das Modell verzerrt wurde und eine ungenaue Risikobewertung erstellt wurde. Durch die Implementierung von data könnte die Organisation den Ursprung von data zurückverfolgen, feststellen, wo Inkonsistenzen auftreten, und sicherstellen, dass data Transformationen mit Qualitätsstandards übereinstimmen. Diese Transparenz hilft dabei, Probleme zu korrigieren, bevor sie sich auf das Modell auswirken, was letztlich zu zuverlässigeren und genaueren Vorhersagen führt und die Gesamtintegrität des AI Systems aufrechterhält.

Data lineage verbessert AI die Fehlersuche, Verbesserung und Reproduzierbarkeit von Modellen, indem es einen detaillierten Überblick über die Reise von datadurch den Modellierungsprozess bietet. Wenn ein Modell unerwartete Ergebnisse liefert, hilft data lineage dabei, die data durch alle Phasen hindurch zu verfolgen - von der Erfassung über die Vorverarbeitung bis hin zum Feature Engineering. Dank dieser Transparenz können data Wissenschaftler erkennen, wo Probleme oder Inkonsistenzen aufgetreten sind, was eine präzise Fehlersuche und gezielte Verbesserungen ermöglicht. Darüber hinaus ist die "Bereichsanpassung" eine gängige Methode zur Wiederverwendung von Algorithmuskomponenten, um den Zeit- und Ressourcenaufwand für die Erstellung eines AI Modells von Grund auf zu reduzieren. Lineage ist für diese Reproduzierbarkeit über verschiedene Iterationen und Experimente hinweg unerlässlich, da es die Dokumentation und Verwendung von data für die Algorithmen liefert.

Artefact und Solidatus sind Kooperationspartner, die sich in der Überzeugung einig sind, dass ein effektives data Management für den Erfolg von AI unerlässlich ist. Akhilesh Kale, eine Führungskraft bei Artefact im Bereich Finanzdienstleistungen, behauptet, dass "data Lineage das Rückgrat des Vertrauens in Finanzinstitutionen ist und jene Integrität bietet, die in einer so hochkomplexen Landschaft, die durch ihren regulatorischen Druck definiert ist, entscheidend ist." Diese Betonung der data Integrität ist von zentraler Bedeutung dafür, wie die Expertise von Artefactin den Bereichen data und AI Ausführung die strukturierte Umgebung von Solidatus ergänzt, die bei der Verwaltung und Speicherung von grobem Datenmaterial hilft. Zusammen ermöglichen sie es Finanzinstituten, die Transparenz der Quelle data für AI Modelle zu verbessern. Phil Yeoman, ehemals bei Cardano, betont: "Mit Solidatus ist unser data Nachlass jetzt abgebildet, modelliert und katalogisiert. In einer einzigen Ansicht kann ich den Unternehmen zeigen, wo sich ihre data befindet, wie sie durch Systeme und Anwendungen fließt, welche data Qualitätsregeln gelten und welche data der GDPR unterliegen." Diese nahtlose Integration von Tools und Diensten unterstreicht die transformative Kraft von data lineage for AI. Sie vereinfacht die Einhaltung von Vorschriften, gewährleistet eine erstklassige data Qualität und verbessert die Modellgenauigkeit durch die Rückverfolgung von data vom Ursprung bis zum Ziel. Diese Rückverfolgbarkeit ist von unschätzbarem Wert, wenn es darum geht, regulatorische Standards wie CCPA und GLBA zu erfüllen und gleichzeitig data Inkonsistenzen zu identifizieren, die AI Modelle gefährden könnten. Darüber hinaus vereinfacht data die Fehlersuche, steigert die Modellleistung und gewährleistet konsistente, zuverlässige Ergebnisse.

(1) Prestianni, Timothy. "131 AI Statistiken und Trends für (2024)." National University, 30. Mai 2024. https://www.nu.edu/blog/ai-statistics-trends/.

(2) Matthew Fox, "How Artificial Intelligence Is Shaping Consumer Sentiment", Forbes, 22. September 2023, https://www.forbes.com/advisor/business/artificial-intelligence-consumer-sentiment/.

(3) Campus Technology, "Report: AI Adoption Hindered by Data Quality," April 10, 2024, https://campustechnology.com/Articles/2024/04/10/Report-AI -Adoption-Hindered-by- Data-Quality .aspx#:~:text=Organizations%20Have%20Serious%20Concerns%20Around,and%20Integration%20complexity%20(59%25)