Generatief AI: bedrijven staan voor de uitdaging van industrialisatie

"De invoering van generatief artificial intelligence is verre van uniform onder Franse bedrijven. Omvang blijft een bepalende factor. Maar de meeste grote groepen hebben actie ondernomen (strategie, PoC, enz.); slechts enkele blijven vandaag nog achter."

Hanan Ouazan, leidinggevende Generatieve AI bij Artefact

VSE's en KMO's zijn daarentegen terughoudender. "Niet alle organisaties zitten op dezelfde golflengte", zegt Hanan. "Grote bedrijven zijn de eersten die de kwestie oppakken. Maar dat betekent niet dat de 'grote jongens' de technologie met succes hebben getemd."

"Een jaar geleden hadden we de grootste moeilijkheid van generatieve AI projecten al voorzien, namelijk hun industrialisatie. [Een paar jaar geleden duurde een PoC in [klassiek] artificial intelligence drie tot vier maanden. Voor GenAI kunnen twee tot drie weken voldoende zijn. Industrialisatie daarentegen is een heel ander verhaal. Bedrijven realiseren zich de beperkingen van PoC-initiatieven."

Dit wordt nog verergerd door het adoptieprobleem, vooral voor "embedded AI" oplossingen zoals Copilots. Gebruik is niet vanzelfsprekend. Bovendien moet de ROI van deze tools nog worden vastgesteld.
In-house oplossingen, d.w.z. "gemaakt in tegenstelling tot "gekocht", zijn ook niet immuun voor adoptieproblemen.

Ondanks deze obstakels blijken sommige sectoren dynamisch te zijn als het gaat om generatieve AI, waaronder de detailhandel en luxegoederen. Al is de vooruitgang in deze laatste sector minder groot dan aanvankelijk werd verwacht, aldus Artefact's GenAI-specialist. Het bankwezen en de gezondheidszorg blijven naar verluidt verder achter, maar dit is grotendeels te wijten aan cloud- en complianceproblemen.

Ook op sectorniveau kan vooruitgang met twee snelheden worden waargenomen. Volgens Hanan loopt de industrie voorop in de adoptierace.

Maar zelfs bij de meest volwassen spelers blijven industrialisatie en schaalvergroting (in termen van adoptie en technologie) obstakels. Use cases richten zich op Retrieval-Augmented Generation (RAG's) voor het ophalen van documenten in "vaak verwaarloosde databases".

Contentindexering is gericht op zowel interne (voor productiviteit) als externe (via conversatie-interfaces) toepassingen. Hanan noemt het voorbeeld van een fabrikant die betrokken was bij een project om zijn productcatalogus online toegankelijk te maken voor klanten - via een chatbot.

In de detailhandel wordt generatief AI gebruikt om opnieuw na te denken over zoeken. Search 2.0, gebaseerd op GenAI, zou de zoekervaring transformeren door een behoefte uit te drukken.

Zonder de retailer bij naam te noemen, werkt Artefact mee aan het ontwerp van een oplossing die is gebaseerd op intentiegericht zoeken. "Morgen zal zoeken deel uitmaken van een ervaringslogica", voorspelt de generatieve AI Lead.

Een derde categorie van use cases is automatisering. Dit omvat het analyseren van berichten en transcripties van callcenters van distributeurs om irritaties of problemen te identificeren.

"We verzamelen alle telefoontjes, transcriberen ze en analyseren ze vervolgens om een dashboard te maken. Met deze weergave kunnen we bijvoorbeeld zien dat 3.000 telefoontjes gaan over een bepaald product waarvan klanten denken dat het kleiner is dan de afbeelding op het productblad. Je kunt tot op dat detailniveau gaan."

Voorheen was deze sentimentanalyse onvoldoende effectief. Nu kan het zelfs ironie detecteren.

Automatisering omvat ook toepassingen zoals trendanalyse op sociale netwerken of realtime data vastleggen voor back-office bankieren en verzekeren.

De vierde familie is creativiteit. "Dit gebied is minder geavanceerd dan ik had verwacht, maar het begint op gang te komen," merkt Hanan op. Artefact werkt samen met klanten om direct marketing te automatiseren, zoals het personaliseren ("contextualiseren") van sms-berichten om inschrijvingen te genereren op basis van criteria zoals het apparaat van de ontvanger.

Het genereren van beelden voor reclame is ook in opkomst. Deze toepassingen worden echter belemmerd door de rechtsonzekerheid rond auteursrechten en training data voor AI's die afbeeldingen genereren. De wettelijke garanties die door bepaalde uitgevers, waaronder Adobe, zijn beloofd, zouden belemmeringen op dit gebied kunnen wegnemen.

De toepassingen van generatief AI zijn nu goed geformaliseerd. De impact in termen van daadwerkelijke transformatie moet echter worden genuanceerd, omdat er nog maar weinig projecten in productie zijn en nog minder toegankelijk zijn voor eindgebruikers.

"Er is een overvloed aan veilige GPT-tools. Maar het is niet het moeilijkste om te ontwikkelen. Bovendien zijn de risico's beperkt omdat het om interne toepassingen gaat."

Voor Hanan Ouazan is de oorzaak van deze 2024-evaluatie duidelijk: de complexiteit van industrialisatie. Daar zijn een aantal redenen voor, waarvan de kosten niet de minste zijn: gebruikerskosten kunnen snel escaleren.

Niet alle bedrijven hebben echter geanticipeerd op de ROI van hun use cases. Het gebruik van LLM leidt tot uitgaven die veel hoger zijn dan de inkomsten, of die nu voorzien waren of niet. En hoewel de prijs per gebruik van deze oplossingen het afgelopen jaar aanzienlijk is gedaald, maken ze applicaties complexer en moeilijker te onderhouden na verloop van tijd.

Dit kostenprobleem kan bijvoorbeeld worden aangepakt met "optimaliseringslogica" om de kosten van een chatbotgesprek te verlagen. Een chat wordt gefactureerd op basis van de grootte van de vraag en het antwoord. En elke nieuwe vraag voegt iets toe aan de geschiedenis van de conversatie, waardoor de totale kosten van elke vraag toenemen.

"Voor een industriële klant monitoren we elke chatbotinteractie. Hierdoor kunnen we kosten en oorzaken meten. Het kan bijvoorbeeld zijn dat de chatbot moeite heeft met het identificeren van een product, wat leidt tot een vermenigvuldiging van uitwisselingen. Monitoring is essentieel om corrigerende maatregelen te nemen."

Gebruikerservaring is ook een kritieke parameter. Om dit te garanderen is latency belangrijk, maar daar hangt een prijskaartje aan. Op Azure kan het nodig zijn om je te abonneren op Provisioned Throughput Units (PTU's), "speciale en dure beheerde bronnen".

Hanan Ouazan noemt kwaliteit ook als een uitdaging voor industrialisatie. Kwaliteit meten en bewaken betekent "de juiste evaluatiebouwstenen op hun plaats zetten [...] Op bepaalde gevoelige gebruikerspaden zetten we een AI in wiens functie het is om de respons van een andere AI te valideren. Realtime evaluatieprocessen zorgen ervoor dat de kwaliteit van de antwoorden van de generatieve AIbehouden blijft," legt hij uit. "We integreren ook feedbacklussen die reacties van gebruikers gebruiken om resultaten te verbeteren."

Industrialisatie stuit uiteindelijk op het menselijk obstakel. Succes in deze fase vereist procesveranderingen. Bijvoorbeeld, de overstap van een traditionele chatbot naar een versie gebaseerd op generatief AI verandert het beroep van klantenservice.

"Dergelijke veranderingen moeten worden ondersteund, vooral in het proces van het valideren van chatbotreacties. Een deel van de conversatie kan worden toevertrouwd aan een AI voor validatie. En wanneer mensen tussenbeide komen, is het beter om hen te assisteren om de verwerkingstijd te verkorten. En wanneer een mens annoteert, moet de AI leren om een opwaartse spiraal te starten."

Hanan roept ook op om gebruikersadoptie te ondersteunen en gebruikerservaring in gedachten te houden. "Adoptie moet niet pijnlijk zijn. Dit is de aanpak die Artefact implementeerde in een project om de kwaliteit van data te verbeteren in een productdatabase voor een fabrikant. Individuen moeten zich niet hoeven aan te passen aan generatieve AI. Het is aan de AI om zich eraan aan te passen, vooral aan de manier waarop ze werken."

Artefact heeft bijvoorbeeld zijn oplossing voor het genereren van productgegevensbladen heroverwogen. Deze oplossing was oorspronkelijk ontworpen om direct in het PIM te worden geïntegreerd - een hulpmiddel dat door de medewerkers van het genoemde project niet erg op prijs werd gesteld.

"Onze methode voor generatieve AI projecten is het selecteren van een bedrijf en het identificeren van de dagelijkse taken om die taken te onderscheiden waarvoor AI de mens zal vervangen of het gereedschap zal aanpassen. De uitdaging is om te automatiseren wat geautomatiseerd kan worden en wat moeilijk is voor het werk, en om te verhogen wat verhoogd kan worden in menselijke werkomstandigheden. En dit kan niet zonder interactie met de doelgebruiker. Anders zal de adoptie nihil zijn."

Hoe zit het met snelle training? Voor Hanan draait alles om de gebruiker. Artefact traint medewerkers in de CRAFT-methode (Context, Rol, Actie, Formaat, Doel Audience), die het juiste gebruik van AI definieert. Voor volwassen gebruikers is het mogelijk om ze te trainen in de werking van modellen en de tools die ze integreren. Sommige populaties zijn echter nog steeds gewend aan het gebruik van trefwoorden.

De organisatie onderwijst werknemers over de mogelijkheid om zoekopdrachten in natuurlijke taal te geven. Het heeft ook herformulering geïntroduceerd. Wanneer trefwoorden (pukcode) worden ingevoerd, formuleert de tool opnieuw: "Ben je op zoek naar je puk-code?".

"Er is een schuifknop en die moet worden aangepast aan de populatie waarvoor de tool bedoeld is. Maar ik denk dat naarmate de mogelijkheden van generatieve AI oplossingen verbeteren, het uiteindelijk niet meer nodig zal zijn om te vragen," verduidelijkt Hanan.

In 2024 zijn er twee belangrijke aandachtsgebieden op het gebied van generatieve AI. De eerste betreft adoptie, het identificeren van veranderingen in beroepen, loopbanen en vaardigheden.

Het tweede is opschaling. Dit wordt op twee niveaus getest: governance (het prioriteren van behoeften, ROI en het sturen van initiatieven) en het GenAI-platform.

Hanan ziet een toename van het aantal RAG's, een fenomeen dat wordt gestimuleerd door de vele PoC's die worden uitgevoerd. Als gevolg daarvan zullen bedrijven de bouwstenen voor hun experimenten moeten rationaliseren.

"Morgen moeten we RAG zien als een data product. Het heeft een plaats als product in de onderneming, net zoals LLM een plaats heeft als product.

"Veel mensen dachten dat GenAI iets magisch was dat hen zou bevrijden van de beperkingen uit het verleden. In werkelijkheid brengt GenAI nog meer beperkingen met zich mee," waarschuwt Artefact's expert.

Deze evolutie maakt deel uit van een continuüm. Na DevOps, en vervolgens MLOps om specifiek om te gaan met AI, is LLMOps nu in opkomst. "De waarborgen die bij MLOps zijn gedefinieerd, zijn nog steeds relevant. Maar we moeten ze aanvullen om rekening te houden met kosten, hallucinaties en de generatieve dimensie van modellen", concludeert Hanan.