Het meten van agentische AI in de praktijk: de nieuwe evaluatiediscipline voor autonome systemen

Inleiding

Een klant waarmee wij vorig jaar hebben samengewerkt, heeft een AI-agent ontwikkeld voor inkoopaanvragen. Deze analyseerde documenten van leveranciers, vergeleek prijzen, signaleerde nalevingsrisico’s en stelde aanbevelingen op. Het werkte goed. Maar enkele maanden na de ingebruikname stuitte het team op een vraag waarop zij geen goed antwoord hadden: hoe kunnen wij meten of de resultaten consistent van goede kwaliteit zijn?

Zij voerden wekelijks handmatige steekproeven uit op enkele dossiers. Bij sommige verzoeken werden er waarschuwingen over de naleving gegenereerd, terwijl dit bij andere, ogenschijnlijk vergelijkbare verzoeken niet het geval was. De prijsvergelijkingen waren over het algemeen nauwkeurig, maar wisten af en toe af te wijken met marges die van belang waren. De medewerker leverde weliswaar een bijdrage, maar het team beschikte niet over een systematische methode om te kwantificeren in hoeverre dit het geval was, noch om bij te houden of de kwaliteit verbeterde of achteruitging.

Dit is een bekend moment in het implementatieproces van agentische AI. Het systeem functioneert goed genoeg voor concrete taken, en de organisatie is klaar om de stap te zetten van “het werkt” naar “we kunnen aantonen dat het werkt”. Die overgang vereist een ander soort evaluatie dan waar de meeste teams aan gewend zijn, en het is een van de belangrijkste capaciteiten die organisaties op dit moment aan het opbouwen zijn.

Waarom makelaars een eigen beoordelingsmethode nodig hebben

Traditionele ML beschikte over duidelijke meetwaarden: precisie, recall en AUC. Zelfs vroege generatieve AI kon nog terugvallen op door mensen gegeven voorkeursbeoordelingen en data-benchmarksets. Agenten verschillen echter zodanig dat deze benaderingen niet rechtstreeks kunnen worden toegepast.

De belangrijkste reden is dat agenten in meerdere stappen te werk gaan. Zij nemen beslissingen waarbij zij een andere route inslaan, roepen hulpmiddelen op, herstellen fouten en produceren resultaten die afhankelijk zijn van het pad dat zij hebben gevolgd. Voer dezelfde agent met dezelfde invoer twee keer uit en u kunt verschillende sequenties van toolaanroepen, verschillende tussenredeneringen en verschillende eindresultaten krijgen – die allemaal volkomen geldig kunnen zijn. Een agent die een probleem oplost via een andere reeks stappen dan verwacht, heeft geen ongelijk. Het kan zelfs beter zijn.

Dit betekent dat evaluatie moet evolueren. Bij Artefact hebben wij in het kader van onze agentische activiteiten gewerkt aan praktische benaderingen hiervoor, en er tekent zich een duidelijke reeks patronen af die in de praktijk goed functioneren.

Wat de beoordeling van makelaars anders maakt

Er zijn drie aspecten waardoor het evalueren van agenten zich onderscheidt van het evalueren van modellen.

De eerste is niet-determinisme. Bij klassieke machine learning evalueert u een model aan de hand van een testset en krijgt u een stabiel getal. Bij agenten hangt de uitvoer af van een reeks LLM-aanroepen, het gebruik van tools en vertakkingsbeslissingen. De bewering dat “de agent functie X vóór functie Y moet aanroepen” gaat niet op wanneer er meerdere geldige volgordes zijn. Bij de evaluatie moet rekening worden gehouden met meerdere correcte paden die tot hetzelfde resultaat leiden.

De tweede is trajectafhankelijkheid. Het uiteindelijke antwoord van een agent is het resultaat van een reeks beslissingen, waarbij elke beslissing de volgende beïnvloedt. Twee agenten kunnen dezelfde juiste uitkomst opleveren, maar de ene heeft zich onderweg hersteld van een storing in een onderdeel, terwijl de andere deze toevallig heeft weten te vermijden. Als u alleen naar de uiteindelijke uitkomst kijkt, gaat dat verschil aan u voorbij. Inzicht in het redeneringstraject geeft u een veel vollediger beeld van de robuustheid van het systeem.

De derde is contextgebonden juistheid. In veel zakelijke situaties is kwaliteit een continuüm. Een inkoopmedewerker die een korting van 12% weet te bedingen, presteert goed.

Een aanpak waarbij 15% wordt overeengekomen, is beter. Een aanpak waarbij 10% wordt overeengekomen, maar waarbij een cruciale leveranciersrelatie behouden blijft, is wellicht de allerbeste. Een zinvolle evaluatie moet rekening houden met de zakelijke context, en niet alleen met de vraag of het resultaat juist of onjuist is.

Aanpakken die in de productie goed werken

Sommige benaderingen leveren nu al goede resultaten op, en de rode draad hierin is dat agenten meer als systemen dan als modellen worden behandeld.

Beoordeling op trajectniveau Dit is waarschijnlijk de meest ingrijpende verandering. In plaats van alleen het eindresultaat te beoordelen, evalueren teams de volledige reeks handelingen van de agent. Heeft de agent de juiste deelopdrachten geïdentificeerd? Heeft hij de juiste hulpmiddelen gebruikt? Heeft hij zich hersteld van fouten? Heeft hij de kwestie geëscaleerd toen dat nodig was? Dit vereist een gestructureerde registratie van elke stap die de agent heeft gezet en beoordelingsschema’s waarmee het gehele traject als geheel wordt beoordeeld. Het geeft teams een veel completer beeld van de kwaliteit van de agent dan wanneer alleen naar de eindresultaten wordt gekeken.

LLM als beoordelaar met afgestemde beoordelingscriteria is eveneens snel volwassen geworden. Het gebruik van een afzonderlijke LLM om de output van agenten te beoordelen, wordt steeds meer de norm, en de sleutel tot de betrouwbaarheid hiervan is de beoordelingsrubriek. Stel duidelijke criteria vast, geef voorbeelden met verschillende beoordelingsniveaus van goede en slechte prestaties, en stem de beoordelaar regelmatig af op menselijke evaluaties. Teams die de beoordelingsrubriek goed opstellen, zien een sterke correlatie met het menselijk oordeel.

Scenario-gebaseerd testen is een andere aanpak die zijn vruchten afwerpt. De meest effectieve teams waarmee ik samenwerk, beschikken over bibliotheken met 50 tot 200 scenario’s die normale verlooptrajecten, randgevallen, kwaadwillige invoer en bekende storingsmodi omvatten. Deze bibliotheken groeien bij elk productie-incident en vormen een van de meest waardevolle activa binnen een agentgebaseerd AI-programma.

En voortdurende evaluatie tijdens de productie brengt alles samen. Testen vóór de implementatie geven u vertrouwen bij de lancering. Voortdurende evaluatie geeft u daarna elke dag weer vertrouwen. Door steekproeven te nemen uit interacties in de productieomgeving, deze door evaluatiepijplijnen te leiden en kwaliteitsstatistieken in de loop van de tijd bij te houden, kunnen teams de agents systematisch verbeteren in plaats van reactief te handelen.

“Evaluatie is niet iets wat u vóór de lancering doet en daarna achter u laat. Het is een doorlopend proces, en de teams die het op die manier benaderen, zijn de teams die met vertrouwen producten op de markt brengen.” – Abhishek Singh, wetenschappelijk directeur van Data, Artefact

Het juiste eigendomsmodel kiezen

Er is een organisatorische kant aan deze kwestie die de aandacht verdient.

Bij traditionele machine learning was de data-wetenschapper die het model had ontwikkeld doorgaans verantwoordelijk voor de evaluatie ervan. In agentgebaseerde systemen is de reikwijdte breder. De agent raakt betrokken bij meerdere bedrijfsprocessen, maakt gebruik van tools die door verschillende teams worden onderhouden en levert resultaten op die gevolgen hebben voor belanghebbenden in de hele organisatie. Verantwoordelijkheidsmodellen voor de evaluatie van agents zijn in de hele sector nog in ontwikkeling, en het maakt een groot verschil om dit in een vroeg stadium goed te regelen.

De teams die hierin uitblinken, wijzen een duidelijke verantwoordelijke voor de evaluatie aan – niet noodzakelijkerwijs een speciaal daarvoor opgericht team, maar een persoon of functie die verantwoordelijk is voor het vaststellen van kwaliteitsnormen, het opzetten van de evaluatie-infrastructuur en het toetsen van de ontwikkeling aan meetbare criteria. Door de verantwoordelijkheid in een vroeg stadium expliciet vast te leggen, wordt voorkomen dat iedereen ervan uitgaat dat iemand anders dit wel regelt.

Praktische aanbevelingen

Op basis van onze ervaringen bij diverse projecten zou ik het volgende willen aanbevelen aan teams die investeren in agentieke AI.

Begin met het evaluatiekader, niet met de agent. Bepaal, voordat u de code voor de agent schrijft, wat succes inhoudt. Wat zijn de meetbare resultaten? Hoe ziet een goed verloop eruit? Welke storingspatronen wilt u in een vroeg stadium opsporen? Dit voorbereidende werk voorkomt de veelvoorkomende situatie waarin teams een capabele agent bouwen en vervolgens maandenlang bezig zijn om uit te zoeken hoe ze deze kunnen valideren.

Investeer vanaf dag één in gestructureerde logboekregistratie. Elke aanroep van een tool, elk beslissingsmoment en elke interactie met een LLM moet worden vastgelegd in een gestructureerd, doorzoekbaar formaat. Zonder dit kunt u alleen de resultaten beoordelen, zonder te begrijpen hoe de agent tot die resultaten is gekomen. Het achteraf inbouwen van observabiliteit is duurder dan dit vanaf het begin in te bouwen.

Stel een scenariobibliotheek samen en beschouw deze als een waardevol hulpmiddel. Zorg voor versiebeheer, evalueer de bibliotheek en breid deze uit na elk productie-incident.

Zorg ervoor dat u vanaf het begin een plan opstelt voor voortdurende evaluatie. Wijs bovendien in een vroeg stadium een duidelijke verantwoordelijke voor de evaluatie aan – de teams die het snelst de overstap maken van proefproject naar productie, zijn de teams waarin iemand expliciet verantwoordelijk is voor de kwaliteit van de agenten.

Hoe wij dit bij Artefact aanpakken

Bij Artefact is evaluatie als een kernwerkstroom geïntegreerd in onze AI Factory-methodologie. Elk project met een agent omvat een ontwerpfase voor het evaluatiekader, die parallel loopt aan de ontwikkeling van de agent. Wij definiëren beoordelingscriteria op trajectniveau, stellen scenariobibliotheken samen die zijn afgestemd op de specifieke gebruikssituatie en zetten een continu monitoringsysteem op voordat de agent in gebruik wordt genomen.

De gedachte hierachter is eenvoudig: een agent die u kunt meten, is een agent die u kunt vertrouwen, verbeteren en opschalen. De organisaties waarmee wij samenwerken en die deze werkwijze al in een vroeg stadium toepassen, gaan consequent sneller live en genieten daarbij meer vertrouwen van de belanghebbenden.

Evaluatie als concurrentievoordeel

Agentische AI ontwikkelt zich in hoog tempo. De frameworks zijn verbeterd, de modellen zijn krachtiger en de toepassingsmogelijkheden zijn concreet. De evaluatiemethoden raken steeds meer op het niveau van de technologie, en de organisaties die er nu in investeren, bouwen een daadwerkelijk concurrentievoordeel op.

Als evaluatie op de juiste wijze wordt uitgevoerd, stelt dit u in staat om agents met vertrouwen in te zetten, deze in de loop van de tijd te verbeteren en belanghebbenden concrete resultaten te tonen in plaats van alleen maar demonstraties. Dit vakgebied is relatief nieuw, maar de aanpak wordt steeds beter begrepen, en de teams die deze aanpak al in een vroeg stadium toepassen, zullen goed gepositioneerd zijn wanneer agentische AI een vast onderdeel wordt van de bedrijfsvoering van ondernemingen.