Het pad onthullen: waarom Data cruciaal is voor het ontwikkelen van effectieve AI

In de huidige data wereld is het belangrijker dan ooit om inzicht te hebben in het traject dat dataafleggen – van de bron tot de eindbestemming. Dit vermogen, dat data wordt genoemd, biedt een uitgebreid overzicht van hoe data door een organisatie data , waarbij de transformaties en afhankelijkheden onderweg gedetailleerd in kaart worden gebracht. Data varieert in complexiteit: 'coarse lineage' toont de transformaties van tabel naar tabel, terwijl 'fine lineage' zich op attribuutniveau bevindt. Deze assets kunnen in tools zoals Solidatus in kaart worden gebracht, wat een geautomatiseerde methode biedt om een duidelijk overzicht te creëren van data , transformatie en gebruik. Bij Artefact ontwerpen en bouwen onze teams dag in data data AI voor onze klanten, en lineage helpt onze klanten bij het beantwoorden van vragen als: "Welke systemen leveren ons dit klantsaldo, aangezien het onnauwkeurig lijkt?" of "Waarom levert mijn model voor de kredietbereidheid van klanten specifiek op woensdagen andere resultaten op?" We volgen een zorgvuldig gestructureerde zesstappenmethodologie voor het op grote schaal implementeren van lineage, te beginnen met een uitgebreide beoordeling van de unieke zakelijke use case en de intrinsieke waarde ervan. Dit proces mondt uit in een naadloze implementatie, waarbij doorlopend onderhoud en gebruikersacceptatie centraal staan.

Bedrijven maken om verschillende belangrijke redenen gebruik van data , waarbij naleving van regelgeving en beheer data voorop staan. In de financiële dienstensector is data robuuste data essentieel om te voldoen aan strenge auditvereisten en principes zoals BCBS 239, waardoor naleving van regelgeving rond governance, data , data , nauwkeurigheid, integriteit en frequentie van risicorapportage wordt gewaarborgd. Bijvoorbeeld in het geval van Commercial Banking, waar het beoordelen van een workflow voor financiële hypotheekrapportage een organisatie stelt de oorsprong en het gebruik van gevoelige data organisatie traceren.

Naast het voldoen aan regelgeving is data een krachtig hulpmiddel om data te verbeteren, waardoor organisaties data kunnen opsporen, de nauwkeurigheid kunnen controleren en het vertrouwen in hun informatiesystemen kunnen behouden. In dit artikel gaan we dieper in op de fijne kneepjes van data , met name grove datalijn, en onderzoeken we waarom dit een hoeksteen is geworden van moderne strategieën data .

Voortbouwend op het belang van het begrijpen data, zorgt Artificial Intelligence AI) voor een transformatie van het moderne landschap van financiële dienstverlening, door menselijke intelligentie na te bootsen voor het uitvoeren van taken die leren en besluitvorming vereisen. De toepassingen AIzijn divers en hebben een grote impact: AI, zoals chatbots, verbetert de interactie met klanten; productiviteitsassistenten stroomlijnen werkprocessen en automatiseren taken; en geautomatiseerde data versnelt het verkrijgen van inzichten uit complexe datasets. In augustus 2024 introduceerde de AI van de Europese Unie nieuwe regelgeving die gericht is op het waarborgen van ethisch AI en het beschermen van gebruikersrechten, waarmee de wereldwijde verschuiving naar verantwoorde AI wordt benadrukt. Deze ontwikkeling onderstreept de groeiende noodzaak voor organisaties om niet alleen de kracht AIte benutten, maar deze ook met zorgvuldig toezicht te beheren, als aanvulling op hun inspanningen op het gebied van data en kwaliteitsbeheer.

Hoewel het gebruik van open-source generatieve AI ChatGPT voor persoonlijk gebruik mogelijk is, is het integreren AI een organisatie en het genereren van echte waarde voor het bedrijf een heel ander verhaal. De meeste financiële instellingen zijn druk bezig met het opzetten van AI en proof-of-concepts (POC’s) op het gebied van generatieve AI , maar er wordt pas echt geld geïnvesteerd als is aangetoond dat de potentiële voordelen betrouwbaar zijn en het product geschikt is voor zowel zakelijke als technische gebruikers. Veel instellingen hebben nog steeds moeite om deze technologieën op te schalen vanwege zorgen over betrouwbaarheid (74%), gebruikersacceptatie (60%)(1) en onvoldoende technische expertise (60%). Artefact heeft een AI ontwikkeld Artefact de belangrijkste schaalbaarheidsdimensies aan te pakken: relevantie van de output, verklaarbaarheid, eerlijkheid/vooringenomenheid, latentie, infrastructuur, organisatorische efficiëntie en gebruikerservaring/acceptatie.

In de context van AI bieden data services zakelijke waarde door te zorgen voor transparantie en betrouwbaarheid bij data beslissingen. Tegenwoordig maakt meer dan 75% van de consumenten zich zorgen over verkeerde informatie afkomstig van AI(2). AI vaak een „black box“ genoemd, wat betekent dat eindgebruikers vaak geen inzicht hebben in de interne processen die de output genereren die zij regelmatig gebruiken. Aangezien AI steeds meer afhankelijk zijn van omvangrijke en complexe datasets, data inzicht in de oorsprong en transformaties van deze data cruciaal voor het behoud van nauwkeurigheid en betrouwbaarheid. Data helpt organisaties de data in AI data te traceren en te valideren, wat essentieel is voor het optimaliseren van de modelprestaties en het aanpakken van problemen zoals vooringenomenheid of fouten. Door een duidelijk auditspoor te bieden, ondersteunt data ook de naleving van regelgeving en verbetert data , wat uiteindelijk leidt tot beter geïnformeerde, betrouwbare en ethische AI die betere bedrijfsresultaten opleveren.

Data is van cruciaal Data om te voldoen aan wettelijke en regelgevende vereisten op het gebied van AI, met name in het kader van wetgeving zoals de California Consumer Privacy Act (CCPA) en de Gramm-Leach-Bliley Act (GLBA). Neem bijvoorbeeld een use case met betrekking tot het verloop van klanten binnen een financiële dienstverlener. In dit geval ontbrak het het systeem aan gestandaardiseerde werkwijzen voor het anonimiseren van persoonlijke gegevens en was er geen data om data te volgen. Als gevolg daarvan werd data om gevoelige details te maskeren uitgevoerd als laatste stap met minimale governance. Deze aanpak bracht niet alleen data in gevaar, maar stelde het systeem ook bloot aan nalevingsrisico's. Als onze partnerorganisatie over data robuuste data in Solidatus had beschikt, had de organisatie kunnen volgen waar data gebruikt, data kunnen vastleggen, in elke fase voor de juiste anonimisering kunnen zorgen en effectiever aan de wettelijke vereisten kunnen voldoen, waardoor de privacy werd gewaarborgd en data werd verbeterd.

Het merendeel van de organisaties (80%) geeft aan dat hun data klaar data voor gebruik in AI, maar meer dan de helft (52%)(3) ondervond problemen bij de implementatie vanwege de kwaliteit van hun data. Data is essentieel voor het waarborgen data bij AI , omdat het een duidelijk beeld geeft van hoe data verzameld, getransformeerd en gebruikt. Bij Artefact begrijpen we hoe cruciaal data en -kwaliteit zijn. Wij geloven in een AI dat de technische vereisten ontwikkelt in combinatie met de data en het databeheer die nodig zijn om betrouwbare AI op grote schaal te implementeren. Onze teams werkten aan een kredietrisicovoorspellingsmodel dat gebruikmaakte van meerdere data om het risico van kredietnemers te beoordelen. Tijdens hun vooronderzoek ontdekte het team inconsistenties tussen deze tabellen, zoals verschillen in data of verouderde informatie. Dit zou leiden tot een vertekend model en een onnauwkeurige risicobeoordeling. Door data te implementeren, kon de organisatie de herkomst van data traceren, vaststellen waar inconsistenties ontstonden en ervoor zorgen dat data voldeden aan de kwaliteitsnormen. Deze transparantie helpt bij het corrigeren van problemen voordat ze het model beïnvloeden, wat uiteindelijk leidt tot betrouwbaardere en nauwkeurigere voorspellingen en het behoud van de algehele integriteit van het AI .

Data verbetert het opsporen van fouten AI , de verbetering ervan en de reproduceerbaarheid door een gedetailleerd overzicht te bieden van het traject datatijdens het modelleringsproces. Als een model onverwachte resultaten oplevert, helpt data om de data alle fasen te traceren – van verzameling tot voorbewerking en feature engineering. Dankzij dit inzicht kunnen data vaststellen waar problemen of inconsistenties mogelijk zijn ontstaan, wat nauwkeurig foutopsporing en gerichte verbeteringen mogelijk maakt. Daarnaast is 'domeinaanpassing' een veelgebruikte methode om onderdelen van algoritmen te hergebruiken, waardoor er minder tijd en middelen nodig zijn om een AI helemaal vanaf nul op te bouwen. Lineage is essentieel voor deze reproduceerbaarheid bij verschillende iteraties en experimenten, omdat het de documentatie en het gebruik van data de algoritmen biedt.

Artefact en Solidatus zijn samenwerkingspartners, verenigd in hun overtuiging dat effectief data essentieel is voor het succes van AI. Akhilesh Kale, een leider bij Artefact de financiële dienstverlening, stelt datdata de ruggengraat vormt van het vertrouwen in financiële instellingen en zorgt voor de integriteit die cruciaal is in een dergelijk uiterst complex landschap dat wordt gekenmerkt door regelgevingsdruk.” Deze nadruk op data staat centraal in de manier waarop de expertise Artefactop het gebied van data AI een aanvulling vormt op de gestructureerde omgeving van Solidatus, die helpt bij het beheren en opslaan van grove lineage. Samen stellen ze financiële instellingen in staat om de transparantie in data AI te vergroten. Zoals Phil Yeoman, voorheen werkzaam bij Cardano, benadrukt: “Met Solidatus is ons data nu in kaart gebracht, gemodelleerd en gecatalogiseerd. In één overzicht kan ik het bedrijf laten zien waar hun data , hoe deze door systemen en applicaties stroomt, welke regels data van toepassing zijn en welke data onder de AVG data .” Deze naadloze integratie van tools en diensten onderstreept de transformerende kracht van data voor AI. Het vereenvoudigt het navigeren door compliance, garandeert data van topniveau en verbetert de nauwkeurigheid van modellen door data te traceren data oorsprong tot bestemming. Deze traceerbaarheid is van onschatbare waarde voor het voldoen aan regelgevingsnormen, zoals de CCPA en GLBA, terwijl het ook helpt bij het identificeren van data die AI in gevaar kunnen brengen. Bovendien stroomlijnt data het opsporen van fouten, verbetert het de prestaties van modellen en zorgt het voor consistente, betrouwbare resultaten.

(1) Prestianni, Timothy. „131 AI en trends AI voor (2024).” National University, 30 mei 2024. ai.

(2) Matthew Fox, „Hoe Artificial Intelligence het consumentensentiment beïnvloedt“, Forbes, 22 september 2023, https://www.forbes.com/advisor/business/artificial-intelligence-consumer-sentiment/.

(3) Campus Technology, „Rapport: AI wordt belemmerd door Data “, 10 april 2024, Data:~:text=Organisaties%20hebben%20ernstige%20bezorgdheden%20over,en%20de%20complexiteit%20van%20de%20integratie%20(59%25)