Ein Kunde, mit dem wir im vergangenen Jahr zusammengearbeitet haben, entwickelte einen KI-Agenten f\u00fcr Beschaffungsanfragen. Dieser analysierte Lieferantendokumente, verglich Preise, wies auf Compliance-Risiken hin und erarbeitete Empfehlungen. Das System funktionierte gut. Doch nach einigen Monaten im Einsatz stand das Team vor einer Frage, auf die es keine zufriedenstellende Antwort hatte: Wie lassen sich die Ergebnisse hinsichtlich ihrer gleichbleibenden Qualit\u00e4t messen?<\/p>\n
Sie f\u00fchrten w\u00f6chentlich manuelle Stichproben bei einigen wenigen F\u00e4llen durch. Bei manchen Anfragen wurden Compliance-Warnungen ausgel\u00f6st, bei anderen, die \u00e4hnlich aussahen, hingegen nicht. Die Preisvergleiche waren gr\u00f6\u00dftenteils korrekt, wiesen jedoch gelegentlich Abweichungen in einer Gr\u00f6\u00dfenordnung auf, die von Bedeutung war. Der Mitarbeiter leistete einen wertvollen Beitrag, doch dem Team fehlte eine systematische Methode, um den Umfang dieses Beitrags zu quantifizieren oder zu verfolgen, ob sich die Qualit\u00e4t verbesserte oder verschlechterte.<\/p>\n
Dies ist ein bekannter Meilenstein bei der Einf\u00fchrung agentischer KI. Das System funktioniert gut genug f\u00fcr reale Aufgaben, und das Unternehmen ist bereit, den Schritt von \u201cEs funktioniert\u201d hin zu \u201cWir k\u00f6nnen nachweisen, dass es funktioniert\u201d zu vollziehen. Dieser \u00dcbergang erfordert eine andere Art der Bewertung, als es die meisten Teams gewohnt sind, und er geh\u00f6rt zu den wichtigsten Kompetenzen, die Unternehmen derzeit aufbauen.<\/p>\n
Das traditionelle maschinelle Lernen verf\u00fcgte \u00fcber klar definierte Kennzahlen: Pr\u00e4zision, Recall, AUC. Selbst fr\u00fche generative KI-Systeme konnten sich auf Bewertungen menschlicher Pr\u00e4ferenzen st\u00fctzen und sich an data-Datens\u00e4tzen orientieren. Agenten unterscheiden sich jedoch so stark, dass sich diese Ans\u00e4tze nicht direkt \u00fcbertragen lassen.<\/p>\n
Der Hauptgrund daf\u00fcr ist, dass Agenten \u00fcber mehrere Schritte hinweg agieren. Sie treffen Verzweigungsentscheidungen, rufen Werkzeuge auf, beheben Fehler und erzeugen Ergebnisse, die von dem eingeschlagenen Pfad abh\u00e4ngen. F\u00fchren Sie denselben Agenten zweimal mit derselben Eingabe aus, und Sie erhalten m\u00f6glicherweise unterschiedliche Abfolge von Tool-Aufrufen, unterschiedliche Zwischen\u00fcberlegungen und unterschiedliche Endergebnisse \u2013 die alle vollkommen g\u00fcltig sein k\u00f6nnen. Ein Agent, der ein Problem durch eine andere Abfolge von Schritten als erwartet l\u00f6st, liegt nicht falsch. Er k\u00f6nnte sogar besser sein.<\/p>\n
Das bedeutet, dass sich die Bewertung weiterentwickeln muss. Bei Artefact arbeiten wir im Rahmen unserer agentischen Aktivit\u00e4ten an praktischen Ans\u00e4tzen hierf\u00fcr, und es zeichnet sich eine klare Reihe von Mustern ab, die sich in der Praxis bew\u00e4hrt haben.<\/p>\n
Es gibt drei Aspekte, durch die sich die Bewertung von Agenten von der Bewertung von Modellen unterscheidet.<\/p>\n
Die erste ist Nichtdeterminismus<\/strong>. Im klassischen maschinellen Lernen bewerten Sie ein Modell anhand eines Testdatensatzes und erhalten einen stabilen Wert. Bei Agenten h\u00e4ngt die Ausgabe von einer Kette aus LLM-Aufrufen, Tool-Aufrufen und Verzweigungsentscheidungen ab. Die Festlegung, dass \u201cder Agent die Funktion X vor der Funktion Y aufrufen muss\u201d, funktioniert nicht, wenn es mehrere g\u00fcltige Reihenfolgen gibt. Bei der Bewertung m\u00fcssen mehrere korrekte Pfade zum gleichen Ergebnis ber\u00fccksichtigt werden.<\/p>\n Die zweite ist Pfadabh\u00e4ngigkeit<\/strong>. Die endg\u00fcltige Antwort eines Agenten ist das Ergebnis einer Kette von Entscheidungen, von denen jede die n\u00e4chste beeinflusst. Zwei Agenten k\u00f6nnen zwar denselben korrekten Ergebniswert liefern, doch hat sich der eine dabei von einem Werkzeugausfall erholt, w\u00e4hrend der andere diesen zuf\u00e4llig vermeiden konnte. Betrachtet man lediglich das Endergebnis, wird dieser Unterschied \u00fcbersehen. Das Verst\u00e4ndnis des Denkwegs vermittelt Ihnen ein wesentlich umfassenderes Bild davon, wie robust das System ist.<\/p>\n Der dritte ist kontextabh\u00e4ngige Korrektheit<\/strong>. In vielen Anwendungsf\u00e4llen in Unternehmen l\u00e4sst sich Qualit\u00e4t auf einem Kontinuum einordnen. Ein Eink\u00e4ufer, der einen Rabatt von 12% aushandelt, leistet gute Arbeit.<\/p>\n Eine L\u00f6sung, bei der 15% ausgehandelt wird, ist besser. Eine L\u00f6sung, bei der zwar 10% ausgehandelt wird, dabei aber eine wichtige Lieferantenbeziehung erhalten bleibt, ist m\u00f6glicherweise die beste von allen. Eine sinnvolle Bewertung muss den gesch\u00e4ftlichen Kontext ber\u00fccksichtigen und darf sich nicht nur darauf beschr\u00e4nken, ob das Ergebnis richtig oder falsch ist.<\/p>\n Einige Ans\u00e4tze funktionieren bereits gut, und ihnen ist gemeinsam, dass Agenten eher als Systeme denn als Modelle behandelt werden.<\/p>\n Bewertung auf Trajektorienebene<\/strong> Dies ist wahrscheinlich die bedeutendste Ver\u00e4nderung. Anstatt lediglich das Endergebnis zu bewerten, beurteilen die Teams den gesamten Ablauf der Agentenaktionen. Hat der Agent die richtigen Teilaufgaben identifiziert? Hat er geeignete Werkzeuge eingesetzt? Konnte er Fehler beheben? Hat er die Angelegenheit eskaliert, als dies erforderlich war? Dies erfordert eine strukturierte Protokollierung jedes einzelnen Schrittes des Agenten sowie Bewertungskriterien, die den gesamten Ablauf als Ganzes bewerten. Dadurch erhalten die Teams ein wesentlich umfassenderes Bild von der Qualit\u00e4t des Agenten, als wenn sie lediglich die Endergebnisse betrachten w\u00fcrden.<\/p>\n LLM als Richter mit kalibrierten Bewertungsrastern<\/strong> hat sich ebenfalls rasch weiterentwickelt. Der Einsatz eines separaten LLM zur Bewertung der Ergebnisse von Agenten wird zunehmend zum Standard, und der Schl\u00fcssel zur Gew\u00e4hrleistung der Zuverl\u00e4ssigkeit liegt in der Bewertungsrubrik. Definieren Sie explizite Kriterien, stellen Sie abgestufte Beispiele f\u00fcr gute und schlechte Leistungen bereit und kalibrieren Sie die Bewertung regelm\u00e4\u00dfig anhand menschlicher Beurteilungen. Teams, denen die richtige Bewertungsrubrik gelingt, stellen eine starke \u00dcbereinstimmung mit dem menschlichen Urteilsverm\u00f6gen fest.<\/p>\n Szenariobasierte Tests<\/strong> ist ein weiterer Ansatz, der sich sehr auszahlt. Die effektivsten Teams, mit denen ich zusammenarbeite, unterhalten Bibliotheken mit 50 bis 200 Szenarien, die Normalabl\u00e4ufe, Randf\u00e4lle, b\u00f6swillige Eingaben und bekannte Fehlermodi abdecken. Diese wachsen mit jedem Vorfall in der Produktion und werden zu einem der wertvollsten Bestandteile eines Programms f\u00fcr agentenbasierte KI.<\/p>\n Und kontinuierliche Bewertung in der Produktion<\/strong> Das verbindet alles miteinander. Tests vor der Bereitstellung geben Ihnen Sicherheit beim Start. Eine kontinuierliche Bewertung gibt Ihnen auch danach jeden Tag Sicherheit. Durch die Stichprobenentnahme von Interaktionen aus der Produktion, deren Durchlauf durch Bewertungspipelines und die Verfolgung von Qualit\u00e4tskennzahlen im Zeitverlauf k\u00f6nnen Teams die Agenten systematisch und nicht nur reaktiv verbessern.<\/p>\n \u201cDie Bewertung ist nicht etwas, das man vor der Markteinf\u00fchrung durchf\u00fchrt und dann hinter sich l\u00e4sst. Es handelt sich um einen fortlaufenden Prozess, und nur die Teams, die dies auch so handhaben, bringen ihre Produkte mit Zuversicht auf den Markt.\u201d<\/em> \u2013 Abhishek Singh, wissenschaftlicher Leiter von Data, Artefact<\/p><\/blockquote>\n Dies hat auch eine organisatorische Seite, die es zu ber\u00fccksichtigen gilt.<\/p>\n Im traditionellen maschinellen Lernen war in der Regel der \u201edata\u201c-Wissenschaftler, der das Modell entwickelt hat, auch f\u00fcr dessen Bewertung verantwortlich. In agentenbasierten Systemen ist der Anwendungsbereich weitaus umfassender. Der Agent greift in mehrere Gesch\u00e4ftsprozesse ein, greift auf Tools zur\u00fcck, die von verschiedenen Teams gepflegt werden, und erzeugt Ergebnisse, die sich auf Stakeholder im gesamten Unternehmen auswirken. Verantwortungsmodelle f\u00fcr die Bewertung von Agenten befinden sich branchenweit noch in der Entwicklung, und es macht einen entscheidenden Unterschied, dies fr\u00fchzeitig richtig zu gestalten.<\/p>\n Die Teams, die dies gut umsetzen, benennen einen klaren Verantwortlichen f\u00fcr die Bewertung \u2013 nicht unbedingt ein eigens daf\u00fcr zust\u00e4ndiges Team, sondern eine Person oder Funktion, die daf\u00fcr verantwortlich ist, Qualit\u00e4tsstandards festzulegen, die Bewertungsinfrastruktur aufzubauen und die Entwicklung anhand messbarer Kriterien zur Rechenschaft zu ziehen. Indem die Zust\u00e4ndigkeit fr\u00fchzeitig klar festgelegt wird, wird vermieden, dass jeder davon ausgeht, dass sich jemand anderes darum k\u00fcmmert.<\/p>\n Aufgrund unserer Erfahrungen aus verschiedenen Projekten m\u00f6chte ich Teams, die in agentische KI investieren, Folgendes empfehlen:.<\/p>\n Beginnen Sie mit dem Bewertungsrahmen und nicht mit dem Agenten. Bevor Sie den Code f\u00fcr den Agenten schreiben, legen Sie fest, wie Erfolg aussieht. Was sind die messbaren Ergebnisse? Wie sieht eine gute Entwicklung aus? Welche Fehlerquellen m\u00f6chten Sie fr\u00fchzeitig erkennen? Diese Vorarbeit verhindert die h\u00e4ufig auftretende Situation, in der Teams einen leistungsf\u00e4higen Agenten entwickeln und anschlie\u00dfend Monate damit verbringen, herauszufinden, wie sie ihn validieren k\u00f6nnen.<\/p>\n Investieren Sie vom ersten Tag an in strukturiertes Logging. Jeder Tool-Aufruf, jeder Entscheidungspunkt und jede Interaktion mit einem LLM sollte in einem strukturierten, abfragbaren Format protokolliert werden. Ohne diese Funktion k\u00f6nnen Sie lediglich die Ergebnisse auswerten, ohne zu verstehen, wie der Agent zu diesen Ergebnissen gelangt ist. Die nachtr\u00e4gliche Implementierung von Observability ist kostspieliger als deren Einbindung von Anfang an.<\/p>\n Erstellen Sie eine Szenario-Bibliothek und behandeln Sie diese als wertvolles Kapital. Verwalten Sie sie versionsweise, \u00fcberpr\u00fcfen Sie sie und erweitern Sie sie bei jedem Produktionsvorfall.<\/p>\n Planen Sie von Anfang an eine kontinuierliche Bewertung ein. Und benennen Sie fr\u00fchzeitig einen klaren Verantwortlichen f\u00fcr die Bewertung \u2013 die Teams, die am schnellsten vom Pilotprojekt in die Produktion \u00fcbergehen, sind diejenigen, in denen jemand ausdr\u00fccklich f\u00fcr die Qualit\u00e4t der Agenten verantwortlich ist.<\/p>\n Bei Artefact ist die Bewertung als zentraler Arbeitsstrang in unsere \u201eAI Factory\u201c-Methodik integriert. Jedes Projekt zur Entwicklung eines Agenten umfasst eine Phase zur Konzeption eines Bewertungsrahmens, die parallel zur Entwicklung des Agenten verl\u00e4uft. Wir definieren Bewertungskriterien auf Trajektorienebene, erstellen auf den jeweiligen Anwendungsfall zugeschnittene Szenariobibliotheken und richten eine kontinuierliche \u00dcberwachung ein, bevor der Agent in Betrieb genommen wird.<\/p>\n Der Gedanke dahinter ist einfach: Ein Akteur, den man messen kann, ist ein Akteur, dem man vertrauen, den man verbessern und den man skalieren kann. Die Unternehmen, mit denen wir zusammenarbeiten und die diese Vorgehensweise fr\u00fchzeitig umsetzen, erreichen die Produktionsreife durchweg schneller und genie\u00dfen dabei ein gr\u00f6\u00dferes Vertrauen seitens der Beteiligten.<\/p>\n Agentische KI entwickelt sich rasant weiter. Die Frameworks sind besser geworden, die Modelle leistungsf\u00e4higer und die Anwendungsf\u00e4lle sind real. Die Evaluierungsmethoden holen auf, und die Unternehmen, die jetzt in diesen Bereich investieren, verschaffen sich einen echten Wettbewerbsvorteil.<\/p>\n Wenn sie richtig durchgef\u00fchrt wird, erm\u00f6glicht Ihnen die Bewertung, Agenten mit Zuversicht einzusetzen, diese im Laufe der Zeit zu verbessern und den Beteiligten konkrete Belege anstelle von Demos zu pr\u00e4sentieren. Das Fachgebiet ist relativ neu, doch die Ans\u00e4tze werden zunehmend besser verstanden, und die Teams, die diese fr\u00fchzeitig anwenden, werden gut aufgestellt sein, wenn agentenbasierte KI zu einem festen Bestandteil der Unternehmensabl\u00e4ufe wird.<\/p>","protected":false},"excerpt":{"rendered":" Ein Kunde, mit dem wir im vergangenen Jahr zusammengearbeitet haben, entwickelte einen KI-Agenten f\u00fcr Beschaffungsanfragen. Dieser analysierte Lieferantendokumente, verglich Preise, wies auf Compliance-Risiken hin und erarbeitete Empfehlungen. Das System funktionierte gut. Doch nach einigen Monaten im Einsatz stand das Team vor einer Frage, auf die es keine zufriedenstellende Antwort hatte: Wie lassen sich die Ergebnisse hinsichtlich ihrer gleichbleibenden Qualit\u00e4t messen?<\/p>","protected":false},"featured_media":1402298,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-1402297","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/1402297","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/1402298"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=1402297"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=1402297"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=1402297"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Ans\u00e4tze, die in der Produktion erfolgreich sind<\/h2>\n
Das richtige Eigentumsmodell finden<\/h2>\n
Praktische Empfehlungen<\/h2>\n
Wie wir bei Artefact dabei vorgehen<\/h2>\n
Bewertung als Wettbewerbsvorteil<\/h2>\n