Samengestelde AI : de toekomst van gespecialiseerde intelligentie

Sinds de explosieve opkomst ervan halverwege 2022 AI generatieve AI al snel wereldwijd de aandacht getrokken. Wat aanvankelijk vooral gericht was op taal, heeft zich sindsdien uitgebreid naar spannende nieuwe toepassingen, waaronder beeld-, audio- en videomodellen. Begin 2023 nam de speculatie over de potentiële impact van de technologie op bedrijven in diverse sectoren toe, gepaard gaande met veelbelovende vroege toepassingsvoorbeelden. Naarmate meer ontwikkelaars oplossingen met deze modellen gingen bouwen, verschoof de algemene perceptie naar de voortdurende opkomst van nieuwere, grotere en hopelijk betere versies van de meest gebruikte modellen.

Nu we 2024 ingaan, is er een belangrijk inzicht naar voren gekomen: bij de implementatie AI alleen om het gebruik van het nieuwste, grootste kant-en-klare model. Hoewel vaak wordt aangenomen dat AI kant-en-klaar zijn of dat een groter model automatisch tot betere resultaten leidt, voldoet deze aanpak zelden aan de specifieke behoeften van de meeste bedrijven. In werkelijkheid vereisen succesvolle toepassingen AI die op maat zijn gemaakt, flexibel en efficiënt.

Om dit te bereiken, richten we ons op samengestelde AI . In tegenstelling tot afzonderlijke, monolithische modellen integreren samengestelde AI meerdere gespecialiseerde AI , die elk zijn geoptimaliseerd voor een specifieke taak. Deze structuur zorgt voor een hoge mate van aanpasbaarheid, flexibiliteit en precisie, waardoor AI verandert AI een algemeen hulpmiddel in een oplossing die speciaal voor een bepaald doel is ontwikkeld. Door kleinere, onderling verbonden AI te combineren, kunnen bedrijven prestaties en resultaten behalen die veel verder gaan dan wat kant-en-klare modellen op zichzelf kunnen bieden. Daarom stellen wij dat, voor een optimale zakelijke impact in alle sectoren, een strategische visie prioriteit moet geven aan slimmere systeemontwerpen boven het simpelweg bouwen van grotere, rekenintensievere modellen.

Het Berkeley Artificial Intelligence Lab (BAIR) definieert een samengesteld AI als een systeem „dat AI aanpakt met behulp van meerdere op elkaar inwerkende componenten, waaronder meerdere aanroepen van modellen, zoekmodules of externe tools“. Het Retrieval Augmented Generation (RAG)-systeem is bijvoorbeeld een samengesteld systeem dat een Large Language Model (LLM), een mechanisme voor informatieopvraging en een gevectoriseerde database combineert. Een generatief AI is daarentegen een statistisch model; een LLM voorspelt bijvoorbeeld het volgende token in een tekst op basis van data.

In deze context kan een model worden gezien als één enkel blok, terwijl een samengesteld AI meer lijkt op een machine die bestaat uit meerdere bouwstenen, die elk een specifieke functie vervullen om het algemene doel van het systeem te bereiken.

Modellen versus AI systemen. Bron

Wanneer het gaat om specifieke toepassingen of behoeften binnen een bepaalde sector, volstaat het wellicht niet om te vertrouwen op een algemeen AI zoals GPT-4. Hoewel dergelijke modellen krachtig zijn, zijn ze ontworpen om een breed scala aan taken uit te voeren en beschikken ze mogelijk niet over de gespecialiseerde kennis die voor bepaalde toepassingen vereist is, waardoor het rendement vanaf een bepaald punt afneemt.

Een financiële instelling die bijvoorbeeld een chatbot wil ontwikkelen voor beleggingsanalyse of vermogensbeheer, heeft een systeem nodig dat zowel gespecialiseerde kennis als bedrijfsspecifieke expertise omvat. Gezien de aard van de sector zouden er zorgen zijn over privacy (het bedrijf kan oplossingen op locatie en exclusief gebruik van open modellen eisen), nauwkeurigheid (de oplossingen moeten onberispelijk nauwkeurig zijn) en efficiëntie. Zelfs de krachtigste taalmodellen als op zichzelf staande oplossing gebruiken, zou zeker niet de optimale keuze zijn. In plaats daarvan zou een samengesteld AI zeer effectief kunnen zijn door meerdere gespecialiseerde componenten te integreren, zoals Retrieval-Augmented Generation (RAG)-systemen en op maat gemaakte AI . Deze aanpak zorgt ervoor dat elk onderdeel van het systeem is geoptimaliseerd voor zijn specifieke rol.

Wanneer een systeem wordt opgebouwd uit modulaire componenten, wordt het vervangen of upgraden van afzonderlijke onderdelen veel eenvoudiger. Hetzelfde principe geldt voor samengestelde AI , die uit meerdere bouwstenen bestaan. Als een onderdeel binnen een samengestelde AI verouderd raakt of niet meer voldoet aan nieuwe nalevingsvereisten, kan het worden vervangen zonder dat het hele systeem volledig hoeft te worden herzien. Als er bijvoorbeeld een nieuw, geschikter model beschikbaar komt, kan dit in het systeem worden geïntegreerd ter vervanging van de oudere versie. Evenzo kan, als er een efficiënter mechanisme voor het ophalen van informatie wordt ontwikkeld, dit worden ingezet zonder de gehele opzet te verstoren. Deze flexibiliteit reikt verder dan modellen en ophaalsystemen en strekt zich uit tot andere componenten, zoals data , analyse-engines of nalevingsmodules.

Het modulaire karakter van samengestelde AI services voordelen op het gebied van schaalbaarheid. Doordat afzonderlijke componenten onafhankelijk van elkaar kunnen worden geschaald, kunnen deze systemen efficiënt omgaan met toenemende data en complexiteit, zonder dat een volledige herziening nodig is.

Een systeem kan worden opgeschaald door het te repliceren in een netwerk van systemen, waardoor in theorie oneindige schaalbaarheid mogelijk is. Daarom kan één enkel taalmodel, hoe groot of krachtig het op dit moment ook is, niet effectief in een zeer grote database zoeken naar een specifiek stukje informatie. Om de zoekmogelijkheden van een model op te schalen, zult u onvermijdelijk een systeem met meerdere componenten moeten creëren om de zoekfunctie te verbeteren. Als zelfs de eenvoudigste taken, zoals het ophalen van informatie, niet effectief kunnen worden opgeschaald door één enkel model, wordt het duidelijk dat afzonderlijke componenten op zichzelf geen grootschalige, complexe toepassingen kunnen ondersteunen.

Vanuit zakelijk oogpunt gaat de invoering van samengestelde AI verder dan louter technische verfijning – het biedt strategische voordelen die rechtstreeks aansluiten bij de bedrijfsdoelstellingen. Je zou zelfs kunnen stellen dat een bedrijf dat gebruik wil maken van generatieve AI, geen andere keuze heeft dan een samengesteld systeem te bouwen (of aan te schaffen). Hoewel dit misschien eenvoudig lijkt, zet het vraagtekens bij de gangbare aanname in het bedrijfsleven dat kant-en-klare, op zichzelf staande modellen voldoende zijn om aan gespecialiseerde behoeften te voldoen.

De meest geavanceerde AI kunnen op zichzelf geen gepersonaliseerde ervaring creëren. Dit kan alleen worden bereikt via een geïntegreerd systeem dat het mogelijk maakt om zeer op maat gemaakte en contextueel relevante klantervaringen te bieden. Zo combineert Microsofts Custom Neural Voice algemene LLM's met aangepaste stemtraining, waardoor merken digitale assistenten kunnen creëren die precies aansluiten bij hun unieke toon en stijl. Dit niveau van maatwerk is bijzonder krachtig in klantgerichte sectoren, zoals de reclame, waar klanten positief reageren op het gevoel dat ze speciaal zijn en begrepen worden. Vanuit zakelijk perspectief leidt de combinatie van deze technologie met de mogelijkheid om context toe te voegen tot gepersonaliseerde resultaten, wat uiteindelijk de klanttevredenheid verhoogt.

In tegenstelling tot afzonderlijke modellen die een vast kwaliteitsniveau bieden tegen vaste kosten, maken samengesteldeservices combinaties van kosten en kwaliteit mogelijk. Bedrijven kunnen bijvoorbeeld een kleiner, op specifieke instructies afgestemd model integreren met gespecialiseerde componenten, zoals zoekalgoritmen, om zo tegen lagere kosten hoogwaardige resultaten te behalen dan met grotere, op zichzelf staande modellen. Deze flexibiliteit maakt het mogelijk om kleinere, mogelijk open-source modellen te gebruiken die, mits gericht aangepast, resultaten kunnen opleveren die vergelijkbaar zijn met duurdere oplossingen.

Voor bedrijven zijn betrouwbaarheid en geloofwaardigheid van AI van cruciaal belang. Als men uitsluitend op afzonderlijke modellen vertrouwt, kan het lastig zijn om consistent feitelijke, goed opgemaakte resultaten te behalen. Zo vroeg een eerdere klant in de onderwijssector eens om een oplossing voor het automatisch invullen van aanmeldingsformulieren op basis van hun data -informatie. Aanvankelijk heb ik maanden besteed aan het ontwikkelen van een sequentieel systeem op basis van geavanceerde prompt engineering, zonder gebruik te maken van een samengestelde aanpak. De resultaten verbeterden weliswaar, maar kwamen nooit in de buurt van wat we als volledig ingevulde aanmeldingsformulieren konden presenteren. Pas toen het concept van RAG werd geïntroduceerd, begonnen er volledig gecontroleerde resultaten te ontstaan. Toch was zelfs RAG alleen niet voldoende; er waren aanvullende componenten nodig om informatie te categoriseren, de context coherent te houden en andere nuances te verwerken. Pas toen bereikten we de betrouwbaarheid en precisie die de klant nodig had.

Als we de huidige stand van zaken op AI industriële toepassingen bekijken, zien we een duidelijke trend: het vertrouwen op één enkel model voor het uitvoeren van complexe functies blijkt vaak onbetrouwbaar. Naarmate de use cases complexer worden en de acceptatie binnen bedrijven toeneemt, zal de vraag naar zeer gespecialiseerde en krachtige AI alleen maar toenemen. Om aan deze vraag te voldoen, moet men een oplossingsarchitectuur opzetten die verbeterde en gespecialiseerde modellen omvat, waarbij de valkuil van een beperkte, eenzijdige reikwijdte moet worden vermeden.

De ontwikkelaarsgemeenschap gonst van de opwindende toepassingen, variërend van de geneeskunde tot de detailhandel, die allemaal zijn gebouwd door kleinere, gespecialiseerde componenten samen te voegen tot krachtige, op maat gemaakte oplossingen.

Zelfs AI is op zichzelf niet slim genoeg om strategische bedrijfsdoelstellingen te realiseren. Het moet worden aangevuld met een hogere vorm van gecoördineerde intelligentie.

Hieronder volgt een overzicht van indrukwekkende en interessante samengestelde AI die het nut van dit concept illustreren. Ongeacht de infrastructuur die ontwikkelaars gebruiken, is het doel om te laten zien hoe het combineren van verschillende AI met andere tools een heel specifiek doel kan dienen.

RAG verbetert de output van een LLM door specifieke context aan te reiken die is afkomstig uit een gevectoriseerde database die buiten de oorspronkelijke data van het model valt. Terwijl LLM’s worden getraind op enorme datasets en gebruikmaken van miljarden parameters om antwoorden te genereren, gaat RAG nog een stap verder. Het stelt de LLM in staat om toegang te krijgen tot specifieke, actuele informatie en daarop te verwijzen, of deze nu domeinspecifiek is of afkomstig is uit de interne kennisbank van een organisatie. Dit proces verbetert de relevantie, nauwkeurigheid en bruikbaarheid van de gegenereerde inhoud aanzienlijk, zonder dat het model opnieuw hoeft te worden getraind.

Bedrijven met grote datasets die behoefte hebben aan een efficiënte methode om interne kennis te ordenen, kunnen deze oplossing lokaal implementeren, met behulp van het model van hun keuze, om specifieke stukjes informatie op te halen. Zo kunnen financiële analisten snel relevante data historische reports terugvinden, reports ze elk rapport handmatig hoeven door te spitten. Het model, aangevuld met deze contextuele informatie, genereert bovendien nauwkeurigere en bruikbaardere antwoorden, waardoor het hele proces van informatieverzameling wordt gestroomlijnd.

Hieronder volgt een typische RAG-architectuur:

Algemene RAG-architectuur

Hieronder volgt een tabel met enkele veelvoorkomende samengestelde AI (bron):