Messung agentischer KI in der Praxis: Die neue Bewertungsdisziplin für autonome Systeme

Einführung

Ein Kunde, mit dem wir im vergangenen Jahr zusammengearbeitet haben, entwickelte einen KI-Agenten für Beschaffungsanfragen. Dieser analysierte Lieferantendokumente, verglich Preise, wies auf Compliance-Risiken hin und erarbeitete Empfehlungen. Das System funktionierte gut. Doch nach einigen Monaten im Einsatz stand das Team vor einer Frage, auf die es keine zufriedenstellende Antwort hatte: Wie lassen sich die Ergebnisse hinsichtlich ihrer gleichbleibenden Qualität messen?

Sie führten wöchentlich manuelle Stichproben bei einigen wenigen Fällen durch. Bei manchen Anfragen wurden Compliance-Warnungen ausgelöst, bei anderen, die ähnlich aussahen, hingegen nicht. Die Preisvergleiche waren größtenteils korrekt, wiesen jedoch gelegentlich Abweichungen in einer Größenordnung auf, die von Bedeutung war. Der Mitarbeiter leistete einen wertvollen Beitrag, doch dem Team fehlte eine systematische Methode, um den Umfang dieses Beitrags zu quantifizieren oder zu verfolgen, ob sich die Qualität verbesserte oder verschlechterte.

Dies ist ein bekannter Meilenstein bei der Einführung agentischer KI. Das System funktioniert gut genug für reale Aufgaben, und das Unternehmen ist bereit, den Schritt von “Es funktioniert” hin zu “Wir können nachweisen, dass es funktioniert” zu vollziehen. Dieser Übergang erfordert eine andere Art der Bewertung, als es die meisten Teams gewohnt sind, und er gehört zu den wichtigsten Kompetenzen, die Unternehmen derzeit aufbauen.

Warum Makler einen eigenen Bewertungsansatz benötigen

Das traditionelle maschinelle Lernen verfügte über klar definierte Kennzahlen: Präzision, Recall, AUC. Selbst frühe generative KI-Systeme konnten sich auf Bewertungen menschlicher Präferenzen stützen und sich an data-Datensätzen orientieren. Agenten unterscheiden sich jedoch so stark, dass sich diese Ansätze nicht direkt übertragen lassen.

Der Hauptgrund dafür ist, dass Agenten über mehrere Schritte hinweg agieren. Sie treffen Verzweigungsentscheidungen, rufen Werkzeuge auf, beheben Fehler und erzeugen Ergebnisse, die von dem eingeschlagenen Pfad abhängen. Führen Sie denselben Agenten zweimal mit derselben Eingabe aus, und Sie erhalten möglicherweise unterschiedliche Abfolge von Tool-Aufrufen, unterschiedliche Zwischenüberlegungen und unterschiedliche Endergebnisse – die alle vollkommen gültig sein können. Ein Agent, der ein Problem durch eine andere Abfolge von Schritten als erwartet löst, liegt nicht falsch. Er könnte sogar besser sein.

Das bedeutet, dass sich die Bewertung weiterentwickeln muss. Bei Artefact arbeiten wir im Rahmen unserer agentischen Aktivitäten an praktischen Ansätzen hierfür, und es zeichnet sich eine klare Reihe von Mustern ab, die sich in der Praxis bewährt haben.

Was die Bewertung von Maklern auszeichnet

Es gibt drei Aspekte, durch die sich die Bewertung von Agenten von der Bewertung von Modellen unterscheidet.

Die erste ist Nichtdeterminismus. Im klassischen maschinellen Lernen bewerten Sie ein Modell anhand eines Testdatensatzes und erhalten einen stabilen Wert. Bei Agenten hängt die Ausgabe von einer Kette aus LLM-Aufrufen, Tool-Aufrufen und Verzweigungsentscheidungen ab. Die Festlegung, dass “der Agent die Funktion X vor der Funktion Y aufrufen muss”, funktioniert nicht, wenn es mehrere gültige Reihenfolgen gibt. Bei der Bewertung müssen mehrere korrekte Pfade zum gleichen Ergebnis berücksichtigt werden.

Die zweite ist Pfadabhängigkeit. Die endgültige Antwort eines Agenten ist das Ergebnis einer Kette von Entscheidungen, von denen jede die nächste beeinflusst. Zwei Agenten können zwar denselben korrekten Ergebniswert liefern, doch hat sich der eine dabei von einem Werkzeugausfall erholt, während der andere diesen zufällig vermeiden konnte. Betrachtet man lediglich das Endergebnis, wird dieser Unterschied übersehen. Das Verständnis des Denkwegs vermittelt Ihnen ein wesentlich umfassenderes Bild davon, wie robust das System ist.

Der dritte ist kontextabhängige Korrektheit. In vielen Anwendungsfällen in Unternehmen lässt sich Qualität auf einem Kontinuum einordnen. Ein Einkäufer, der einen Rabatt von 12% aushandelt, leistet gute Arbeit.

Eine Lösung, bei der 15% ausgehandelt wird, ist besser. Eine Lösung, bei der zwar 10% ausgehandelt wird, dabei aber eine wichtige Lieferantenbeziehung erhalten bleibt, ist möglicherweise die beste von allen. Eine sinnvolle Bewertung muss den geschäftlichen Kontext berücksichtigen und darf sich nicht nur darauf beschränken, ob das Ergebnis richtig oder falsch ist.

Ansätze, die in der Produktion erfolgreich sind

Einige Ansätze funktionieren bereits gut, und ihnen ist gemeinsam, dass Agenten eher als Systeme denn als Modelle behandelt werden.

Bewertung auf Trajektorienebene Dies ist wahrscheinlich die bedeutendste Veränderung. Anstatt lediglich das Endergebnis zu bewerten, beurteilen die Teams den gesamten Ablauf der Agentenaktionen. Hat der Agent die richtigen Teilaufgaben identifiziert? Hat er geeignete Werkzeuge eingesetzt? Konnte er Fehler beheben? Hat er die Angelegenheit eskaliert, als dies erforderlich war? Dies erfordert eine strukturierte Protokollierung jedes einzelnen Schrittes des Agenten sowie Bewertungskriterien, die den gesamten Ablauf als Ganzes bewerten. Dadurch erhalten die Teams ein wesentlich umfassenderes Bild von der Qualität des Agenten, als wenn sie lediglich die Endergebnisse betrachten würden.

LLM als Richter mit kalibrierten Bewertungsrastern hat sich ebenfalls rasch weiterentwickelt. Der Einsatz eines separaten LLM zur Bewertung der Ergebnisse von Agenten wird zunehmend zum Standard, und der Schlüssel zur Gewährleistung der Zuverlässigkeit liegt in der Bewertungsrubrik. Definieren Sie explizite Kriterien, stellen Sie abgestufte Beispiele für gute und schlechte Leistungen bereit und kalibrieren Sie die Bewertung regelmäßig anhand menschlicher Beurteilungen. Teams, denen die richtige Bewertungsrubrik gelingt, stellen eine starke Übereinstimmung mit dem menschlichen Urteilsvermögen fest.

Szenariobasierte Tests ist ein weiterer Ansatz, der sich sehr auszahlt. Die effektivsten Teams, mit denen ich zusammenarbeite, unterhalten Bibliotheken mit 50 bis 200 Szenarien, die Normalabläufe, Randfälle, böswillige Eingaben und bekannte Fehlermodi abdecken. Diese wachsen mit jedem Vorfall in der Produktion und werden zu einem der wertvollsten Bestandteile eines Programms für agentenbasierte KI.

Und kontinuierliche Bewertung in der Produktion Das verbindet alles miteinander. Tests vor der Bereitstellung geben Ihnen Sicherheit beim Start. Eine kontinuierliche Bewertung gibt Ihnen auch danach jeden Tag Sicherheit. Durch die Stichprobenentnahme von Interaktionen aus der Produktion, deren Durchlauf durch Bewertungspipelines und die Verfolgung von Qualitätskennzahlen im Zeitverlauf können Teams die Agenten systematisch und nicht nur reaktiv verbessern.

“Die Bewertung ist nicht etwas, das man vor der Markteinführung durchführt und dann hinter sich lässt. Es handelt sich um einen fortlaufenden Prozess, und nur die Teams, die dies auch so handhaben, bringen ihre Produkte mit Zuversicht auf den Markt.” – Abhishek Singh, wissenschaftlicher Leiter von Data, Artefact

Das richtige Eigentumsmodell finden

Dies hat auch eine organisatorische Seite, die es zu berücksichtigen gilt.

Im traditionellen maschinellen Lernen war in der Regel der „data“-Wissenschaftler, der das Modell entwickelt hat, auch für dessen Bewertung verantwortlich. In agentenbasierten Systemen ist der Anwendungsbereich weitaus umfassender. Der Agent greift in mehrere Geschäftsprozesse ein, greift auf Tools zurück, die von verschiedenen Teams gepflegt werden, und erzeugt Ergebnisse, die sich auf Stakeholder im gesamten Unternehmen auswirken. Verantwortungsmodelle für die Bewertung von Agenten befinden sich branchenweit noch in der Entwicklung, und es macht einen entscheidenden Unterschied, dies frühzeitig richtig zu gestalten.

Die Teams, die dies gut umsetzen, benennen einen klaren Verantwortlichen für die Bewertung – nicht unbedingt ein eigens dafür zuständiges Team, sondern eine Person oder Funktion, die dafür verantwortlich ist, Qualitätsstandards festzulegen, die Bewertungsinfrastruktur aufzubauen und die Entwicklung anhand messbarer Kriterien zur Rechenschaft zu ziehen. Indem die Zuständigkeit frühzeitig klar festgelegt wird, wird vermieden, dass jeder davon ausgeht, dass sich jemand anderes darum kümmert.

Praktische Empfehlungen

Aufgrund unserer Erfahrungen aus verschiedenen Projekten möchte ich Teams, die in agentische KI investieren, Folgendes empfehlen:.

Beginnen Sie mit dem Bewertungsrahmen und nicht mit dem Agenten. Bevor Sie den Code für den Agenten schreiben, legen Sie fest, wie Erfolg aussieht. Was sind die messbaren Ergebnisse? Wie sieht eine gute Entwicklung aus? Welche Fehlerquellen möchten Sie frühzeitig erkennen? Diese Vorarbeit verhindert die häufig auftretende Situation, in der Teams einen leistungsfähigen Agenten entwickeln und anschließend Monate damit verbringen, herauszufinden, wie sie ihn validieren können.

Investieren Sie vom ersten Tag an in strukturiertes Logging. Jeder Tool-Aufruf, jeder Entscheidungspunkt und jede Interaktion mit einem LLM sollte in einem strukturierten, abfragbaren Format protokolliert werden. Ohne diese Funktion können Sie lediglich die Ergebnisse auswerten, ohne zu verstehen, wie der Agent zu diesen Ergebnissen gelangt ist. Die nachträgliche Implementierung von Observability ist kostspieliger als deren Einbindung von Anfang an.

Erstellen Sie eine Szenario-Bibliothek und behandeln Sie diese als wertvolles Kapital. Verwalten Sie sie versionsweise, überprüfen Sie sie und erweitern Sie sie bei jedem Produktionsvorfall.

Planen Sie von Anfang an eine kontinuierliche Bewertung ein. Und benennen Sie frühzeitig einen klaren Verantwortlichen für die Bewertung – die Teams, die am schnellsten vom Pilotprojekt in die Produktion übergehen, sind diejenigen, in denen jemand ausdrücklich für die Qualität der Agenten verantwortlich ist.

Wie wir bei Artefact dabei vorgehen

Bei Artefact ist die Bewertung als zentraler Arbeitsstrang in unsere „AI Factory“-Methodik integriert. Jedes Projekt zur Entwicklung eines Agenten umfasst eine Phase zur Konzeption eines Bewertungsrahmens, die parallel zur Entwicklung des Agenten verläuft. Wir definieren Bewertungskriterien auf Trajektorienebene, erstellen auf den jeweiligen Anwendungsfall zugeschnittene Szenariobibliotheken und richten eine kontinuierliche Überwachung ein, bevor der Agent in Betrieb genommen wird.

Der Gedanke dahinter ist einfach: Ein Akteur, den man messen kann, ist ein Akteur, dem man vertrauen, den man verbessern und den man skalieren kann. Die Unternehmen, mit denen wir zusammenarbeiten und die diese Vorgehensweise frühzeitig umsetzen, erreichen die Produktionsreife durchweg schneller und genießen dabei ein größeres Vertrauen seitens der Beteiligten.

Bewertung als Wettbewerbsvorteil

Agentische KI entwickelt sich rasant weiter. Die Frameworks sind besser geworden, die Modelle leistungsfähiger und die Anwendungsfälle sind real. Die Evaluierungsmethoden holen auf, und die Unternehmen, die jetzt in diesen Bereich investieren, verschaffen sich einen echten Wettbewerbsvorteil.

Wenn sie richtig durchgeführt wird, ermöglicht Ihnen die Bewertung, Agenten mit Zuversicht einzusetzen, diese im Laufe der Zeit zu verbessern und den Beteiligten konkrete Belege anstelle von Demos zu präsentieren. Das Fachgebiet ist relativ neu, doch die Ansätze werden zunehmend besser verstanden, und die Teams, die diese frühzeitig anwenden, werden gut aufgestellt sein, wenn agentenbasierte KI zu einem festen Bestandteil der Unternehmensabläufe wird.