Generatieve AI: bedrijven staan voor de uitdaging van industrialisatie

“De invoering van generatief artificial intelligence is verre van uniform onder Franse bedrijven. Omvang blijft een bepalende factor. Maar de meeste grote groepen hebben actie ondernomen (strategie, PoC, enz.); slechts een paar blijven nu nog achter.”

Hanan Ouazan, leidinggevende generatieve AI bij Artefact

VSE's en KMO's zijn daarentegen terughoudender. “Niet alle organisaties zitten op dezelfde golflengte,” merkt Hanan op. “Grote bedrijven zijn de eersten die de kwestie oppakken. Maar dat betekent niet dat de ‘grote jongens’ de technologie met succes hebben getemd.”

“Een jaar geleden hadden we de grootste moeilijkheid van generatieve AI-projecten al voorzien, namelijk de industrialisatie ervan. [...] Een paar jaar geleden duurde een PoC in [klassiek] artificial intelligence drie tot vier maanden. Voor GenAI kunnen twee tot drie weken voldoende zijn. Industrialisatie is daarentegen een heel ander verhaal. Bedrijven realiseren zich de beperkingen van PoC-initiatieven.”

Dit wordt nog verergerd door het adoptieprobleem, vooral voor ”ingebedde AI”-oplossingen zoals Copiloten. Gebruik is niet vanzelfsprekend. Bovendien moet de ROI van deze tools nog worden vastgesteld.
In-house oplossingen, d.w.z. “gemaakt in tegenstelling tot “gekocht”, zijn ook niet immuun voor adoptieproblemen.

Ondanks deze obstakels blijken sommige sectoren dynamisch te zijn als het gaat om generatieve AI, waaronder de detailhandel en luxegoederen. Al is de vooruitgang in deze laatste sector volgens de GenAI-specialist van Artefact minder groot dan aanvankelijk werd verwacht. Het bankwezen en de gezondheidszorg blijven naar verluidt verder achter, maar dit is grotendeels te wijten aan cloud en nalevingsproblemen.

Vooruitgang met twee snelheden kan ook op sectorniveau worden waargenomen. Volgens Hanan loopt de industrie voorop in de adoptierace.

Maar zelfs bij de meest volwassen spelers blijven industrialisatie en schaalvergroting (in termen van adoptie en technologie) obstakels. Use cases richten zich op Retrieval-Augmented Generation (RAG's) voor het terugvinden van documenten in “vaak verwaarloosde databases”.”

Contentindexering is gericht op zowel interne (voor productiviteit) als externe (via conversatie-interfaces) toepassingen. Hanan noemt het voorbeeld van een fabrikant die betrokken was bij een project om zijn productcatalogus online toegankelijk te maken voor klanten - via een chatbot.

In de detailhandel wordt generatieve AI gebruikt om opnieuw na te denken over zoeken. Search 2.0, gebaseerd op GenAI, zou de zoekervaring transformeren door een behoefte uit te drukken.

Zonder de retailer bij naam te noemen, werkt Artefact mee aan het ontwerp van een oplossing die gebaseerd is op intentiegericht zoeken. “Morgen zal zoeken deel uitmaken van een ervaringslogica,” voorspelt de generative AI Lead.

Een derde categorie van use cases is automatisering. Dit omvat het analyseren van berichten en transcripties van callcenters van distributeurs om irritaties of problemen te identificeren.

“We verzamelen alle telefoontjes, transcriberen ze en analyseren ze vervolgens om een dashboard te maken. Met deze weergave kunnen we bijvoorbeeld zien dat 3.000 telefoontjes over een bepaald product gaan waarvan klanten denken dat het kleiner is dan de afbeelding op het productblad. U kunt tot op dat detailniveau gaan.”

Voorheen was deze sentimentanalyse onvoldoende effectief. Nu kan het zelfs ironie detecteren.

Automatisering omvat ook toepassingen zoals trendanalyse op sociale netwerken of real-time data vastlegging voor back-office bankieren en verzekeren.

De vierde familie is creativiteit. “Dit gebied is minder geavanceerd dan ik had verwacht, maar het begint op gang te komen,” merkt Hanan op. Artefact werkt met klanten om direct marketing te automatiseren, zoals het personaliseren (“contextualiseren”) van SMS-berichten om inschrijvingen te genereren op basis van criteria zoals het apparaat van de ontvanger.

Het genereren van afbeeldingen voor reclame is ook in opkomst. Deze toepassingen worden echter belemmerd door de rechtsonzekerheid rond auteursrecht en training data voor AI's die afbeeldingen genereren. De wettelijke garanties die door bepaalde uitgevers, waaronder Adobe, zijn beloofd, zouden de belemmeringen op dit gebied kunnen wegnemen.

De toepassingen van generatieve AI zijn nu goed geformaliseerd. De impact in termen van daadwerkelijke transformatie moet echter worden gekwalificeerd, aangezien er nog maar weinig projecten in productie zijn en nog minder toegankelijk zijn voor eindgebruikers.

“Er is een overvloed aan veilige GPT-tools. Maar het is niet het moeilijkste om te ontwikkelen. Bovendien zijn de risico's beperkt, omdat het om interne toepassingen gaat.”

Voor Hanan Ouazan is de oorzaak van deze 2024 beoordeling duidelijk: de complexiteit van industrialisatie. Daar zijn een aantal redenen voor, waarvan de kosten niet de minste zijn: de gebruikskosten kunnen snel oplopen.

Niet alle bedrijven hebben echter de ROI van hun use cases voorzien. Het gebruik van LLM leidt tot uitgaven die veel hoger zijn dan de inkomsten, of die nu voorzien waren of niet. En hoewel de prijs per gebruik van deze oplossingen het afgelopen jaar aanzienlijk is gedaald, maken ze toepassingen complexer en moeilijker te onderhouden na verloop van tijd.

Dit kostenprobleem kan bijvoorbeeld worden aangepakt met “optimaliseringslogica” om de kosten van een chatbotgesprek te verlagen. Een chat wordt gefactureerd op basis van de grootte van de vraag en het antwoord. En elke nieuwe vraag voegt iets toe aan de geschiedenis van de conversatie, waardoor de totale kosten van elke vraag toenemen.

“Voor een industriële klant monitoren we elke chatbotinteractie. Hierdoor kunnen we kosten en oorzaken meten. Het kan bijvoorbeeld zijn dat de chatbot moeite heeft met het identificeren van een product, wat leidt tot een vermenigvuldiging van uitwisselingen. Monitoring is essentieel om corrigerende maatregelen te nemen.”

Gebruikerservaring is ook een kritieke parameter. Om dit te garanderen is latency belangrijk, maar daar hangt een prijskaartje aan. Op Azure kan het nodig zijn om u te abonneren op Provisioned Throughput Units (PTU's), “speciale en dure beheerde bronnen”.”

Hanan Ouazan noemt kwaliteit ook als een uitdaging voor industrialisatie. Kwaliteit meten en bewaken betekent “de juiste evaluatiebouwstenen plaatsen [...] Op bepaalde gevoelige gebruikerstrajecten zetten we een AI in die als functie heeft om de respons van een andere AI te valideren. Realtime evaluatieprocessen zorgen ervoor dat de kwaliteit van de antwoorden van de generatieve AI behouden blijft,” legt hij uit. “We integreren ook feedbacklussen die reacties van gebruikers gebruiken om resultaten te verbeteren.”

Industrialisatie stuit uiteindelijk op het menselijk obstakel. Succes in deze fase vereist procesveranderingen. Zo verandert de overstap van een traditionele chatbot naar een versie op basis van generatieve AI het beroep van klantenservice.

“Dergelijke veranderingen moeten worden ondersteund, vooral in het proces van het valideren van chatbotreacties. Een deel van de conversatie kan aan een AI worden toevertrouwd voor validatie. En wanneer mensen tussenbeide komen, is het beter om hen te assisteren om de verwerkingstijd te verkorten. En wanneer een mens annoteert, moet de AI leren om een opwaartse spiraal te starten.”

Hanan roept ook op om gebruikersadoptie te ondersteunen en gebruikerservaring in gedachten te houden. “Adoptie mag niet pijnlijk zijn. Dit is de aanpak Artefact geïmplementeerd in een project om de datakwaliteit in een product databasis voor een fabrikant te verbeteren. Individuen hoeven zich niet aan te passen aan generatieve AI. Het is aan de AI om zich aan hen aan te passen, vooral aan de manier waarop ze werken.”

Zo heeft Artefact zijn product datasheet generation solution, die oorspronkelijk was ontworpen om direct in het PIM te worden geïntegreerd, heroverwogen - een hulpmiddel dat door de medewerkers van het geciteerde project niet erg op prijs werd gesteld.

“Onze methode voor generatieve AI-projecten is het selecteren van een bedrijf en het identificeren van de dagelijkse taken om die taken te onderscheiden waarvoor AI de mens zal vervangen of de tool zal aanpassen. De uitdaging is om te automatiseren wat geautomatiseerd kan worden en wat moeilijk is voor het werk, en om te verhogen wat verhoogd kan worden in menselijke werkomstandigheden. En dit kan niet zonder interactie met de beoogde gebruiker. Anders zal de adoptie nihil zijn..”

Hoe zit het met snelle training? Voor Hanan draait alles om de gebruiker. Artefact traint werknemers in de CRAFT-methode (Context, Rol, Actie, Formaat, Doelpubliek), waarin het juiste gebruik van AI wordt gedefinieerd. Voor volwassen gebruikers is het mogelijk om ze te trainen in de werking van modellen en de tools die ze integreren. Sommige bevolkingsgroepen zijn echter nog steeds gewend aan het gebruik van trefwoorden.

Het bedrijf onderwijst werknemers over de mogelijkheid om zoekopdrachten in natuurlijke taal te geven. Het heeft ook herformulering geïntroduceerd. Wanneer trefwoorden (pukcode) worden ingevoerd, herformuleert de tool: “Bent u op zoek naar uw puk-code?”.”

“Er is een schuifknop en die moet worden aangepast aan de populatie waarvoor de tool bedoeld is. Maar ik denk dat naarmate de mogelijkheden van generatieve AI-oplossingen verbeteren, het uiteindelijk niet meer nodig zal zijn om te vragen,” verduidelijkt Hanan.

In 2024 zijn er twee belangrijke aandachtsgebieden op het gebied van generatieve AI. De eerste betreft adoptie, Het identificeren van veranderingen in beroepen, loopbanen en vaardigheden.

De tweede is opschalen. Dit wordt op twee niveaus getest: governance (het prioriteren van behoeften, ROI en het sturen van initiatieven) en het GenAI-platform.

Hanan ziet een toename van het aantal RAG's, een fenomeen dat wordt gestimuleerd door de vele PoC's die worden uitgevoerd. Als gevolg daarvan zullen bedrijven de bouwstenen die ze in hun experimenten gebruiken, moeten rationaliseren.

“Morgen moeten we RAG zien als een data product.. Het heeft een plaats als product in de onderneming, net zoals LLM een plaats heeft als product.

“Veel mensen dachten dat GenAI iets magisch was dat hen zou bevrijden van de beperkingen uit het verleden. In werkelijkheid brengt GenAI nog meer beperkingen met zich mee,” waarschuwt de expert van Artefact.

Deze evolutie maakt deel uit van een continuüm. Na DevOps, en daarna MLOps om specifiek met AI om te gaan, is LLMOps nu in opkomst. “De waarborgen die bij MLOps zijn gedefinieerd, zijn nog steeds relevant. Maar we moeten ze uitbreiden om rekening te houden met kosten, hallucinaties en de generatieve dimensie van modellen,” besluit Hanan.