![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2025\/07\/etude-agentic-supervision.png\")
Laden Sie die Umfrage herunter<\/a><\/p>\nWas macht agentenbasierte KI anders?<\/h2>\n
Agentische KI-Systeme sind keine herk\u00f6mmliche Software. Sie sind probabilistisch, d.h. ihre Ausgaben werden zwar stark vom Eingabekontext beeinflusst, variieren aber bei jedem Lauf. Herk\u00f6mmliche Software hingegen wird von deterministischen Regeln gesteuert, denen man voll und ganz vertrauen kann, wenn sie gut konzipiert sind, weil sie stets die gleiche, unver\u00e4nderliche und korrekte Logik anwenden. Die Grenze herk\u00f6mmlicher Software besteht jedoch darin, dass sie kein neues, auch nur leicht ver\u00e4ndertes Problem l\u00f6sen kann. KI-Agenten l\u00f6sen diese Einschr\u00e4nkung auf Kosten der Zuverl\u00e4ssigkeit. Sie verbinden nat\u00fcrlichsprachliche F\u00e4higkeiten mit der F\u00e4higkeit, \u00fcber interne Tools, APIs oder data-Basen hinweg autonom zu handeln, um neue Probleme zu l\u00f6sen. Diese Flexibilit\u00e4t erm\u00f6glicht eine beeindruckende Wertsch\u00f6pfung in den Bereichen Kundensupport, Betrieb, Personalwesen und Beschaffung.<\/p>\n
Agentenbasierte KI-Systeme stellen jedoch auch langj\u00e4hrige Annahmen der Softwareverwaltung in Frage. W\u00e4hrend herk\u00f6mmlicher Code einmal getestet und dann vertrauensvoll eingesetzt wird, m\u00fcssen Agenten mit Blick auf das Risiko eingesetzt, st\u00e4ndig \u00fcberwacht, bewertet und verbessert werden. Die Zukunft der agentenbasierten Governance liegt daher nicht nur in der Zertifizierung zum Zeitpunkt des Einsatzes, sondern auch in der kontinuierlichen \u00dcberwachung in gro\u00dfem Ma\u00dfstab.<\/p>\n
Der zentrale Kompromiss: Wert vs. Risiko<\/h2>\n
Unternehmen stehen bei KI-Agenten vor einer zentralen Herausforderung: Bei probabilistischer Logik gibt es kein Nullrisiko. Folglich m\u00fcssen die Entwicklungsteams f\u00fcr KI-Agenten einen Mehrwert mit akzeptablem Risiko bieten. Einerseits k\u00f6nnen hochgradig freiz\u00fcgige Agenten zwar einen Mehrwert bieten, aber auch operative, reputationsbezogene, ethische oder finanzielle Risiken mit sich bringen. Auf der anderen Seite k\u00f6nnen stark eingeschr\u00e4nkte Agenten sicher sein, da sie oberfl\u00e4chliche und einfache Antworten bevorzugen, aber nur einen begrenzten Nutzen bieten.<\/p>\n
Dieser Kompromiss zwischen Wert und Risiko muss explizit verwaltet werden. Unternehmen m\u00fcssen definieren, was \u201cWert\u201d im jeweiligen Kontext bedeutet (Erfolgsquote der Aufgabe, Engagement der Benutzer, Produktivit\u00e4tssteigerung) und welche Risiken kontrolliert werden m\u00fcssen: Halluzinationen, Latenz, Verzerrungen, Rufsch\u00e4digung oder Kosten\u00fcberschreitungen. Die \u00dcberwachung wird zum operativen Mechanismus, der dieses Gleichgewicht bei jedem Schritt im Lebenszyklus des KI-Agenten abstimmt: beim Design, bei der Entwicklung, bei der Bereitstellung und w\u00e4hrend der Laufzeit.<\/p>\n
Supervision in drei Schritten: Beobachten, Beurteilen, Handeln<\/h2>\n
Um dieses Gleichgewicht zu erreichen, m\u00fcssen Unternehmen die \u00dcberwachung durch Agenten auf drei Kernkompetenzen aufbauen:<\/p>\n
- \n
- Beobachtung<\/b>: Erfassen Sie strukturierte Telemetrie data - Eingaben, Ausgaben, Werkzeugaufrufe, Fehler und menschliches Feedback.<\/li>\n
- Bewertung<\/b>: Verwenden Sie Qualit\u00e4tsmetriken und Risikoindikatoren, um die Leistung im Vergleich zu den vom Unternehmen definierten Zielen und Kontrollschwellen zu bewerten.<\/li>\n
- Aktion<\/b>: Eskalieren und verwalten Sie Vorf\u00e4lle, schulen Sie Modelle neu, passen Sie Leitplanken an oder nehmen Sie Agentenaktualisierungen zur\u00fcck.<\/li>\n<\/ol>\n
Dieser Prozess, genannt\u00a0\u201caktive \u00dcberwachung\u201d<\/b>, spiegelt die DevOps-Praktiken wider, muss aber an die probabilistische, sich entwickelnde Natur der KI angepasst und \u00fcber die technischen Teams hinaus auf Gesch\u00e4ftsprozesse und Teams (Customer Success, HR, Legal, Operations usw.) ausgeweitet werden.<\/p>\n
Supervision beginnt bei der Geburt eines Agenten<\/h2>\n
Agentic Governance beginnt lange vor der Bereitstellung. Gesch\u00e4fts- und Technikteams m\u00fcssen bereits in der Sondierungsphase zusammenarbeiten, um Erfolgskriterien zu definieren, Risikotypen zu ermitteln und \u00fcber die Bewertungsstrategie zu entscheiden. Dieser Co-Design-Ansatz stellt sicher, dass die Agenten nicht nur technisch robust sind, sondern auch von Anfang an mit den gesch\u00e4ftlichen Priorit\u00e4ten \u00fcbereinstimmen.<\/p>\n
In der Entwurfsphase m\u00fcssen die Teams oft data-Sets erstellen, die das gew\u00fcnschte Agentenverhalten widerspiegeln. Diese sind sowohl f\u00fcr das Training als auch f\u00fcr die Bewertung wichtig. W\u00e4hrend der Entwicklung m\u00fcssen die Teams Schwellenwerte f\u00fcr die Freigabe von mehreren Metriken festlegen. Erfolg ist nicht mehr bin\u00e4r (z.B. alle Tests bestehen), sondern probabilistisch (z.B. >90% bei Aufgabenerfolg, <2% bei Toxizit\u00e4t), so dass die Unternehmensf\u00fchrung definieren muss, was \u201cgut genug\u201d ist.<\/p>\n
Die \u00dcberwachung endet nicht mit dem Einsatz. Die kontinuierliche \u00dcberwachung der Produktion ist f\u00fcr die Bewertung und Verfeinerung der Agenten unerl\u00e4sslich. Wenn ein Vorfall auftritt, muss das f\u00fcr die manuelle L\u00f6sung verantwortliche Gesch\u00e4ftsteam das erwartete korrekte Verhalten an das Agententeam zur\u00fcckmelden und so die Grundwahrheit dataset anreichern und verbessern.<\/p>\n
Metrikbasierte Bereitstellung erfordert gesch\u00e4ftlichen Input<\/h2>\n
Eine wichtige Neuerung in der Agentensteuerung ist die Idee, dass Agenten auf der Grundlage multidimensionaler metrischer Schwellenwerte freigelassen werden. Dies umfasst traditionelle\u00a0Leistungskennzahlen<\/b>\u00a0(Genauigkeit, Latenz),\u00a0Gesch\u00e4ftsmetriken<\/b>\u00a0(Aufgabenerledigung), und\u00a0Risikometriken<\/b>\u00a0(Toxizit\u00e4t, Voreingenommenheit, Versto\u00df gegen die Richtlinien).<\/p>\n
Entscheidend ist, dass die Entscheidung, einen Agenten in die Produktion zu \u00fcberf\u00fchren, nicht allein bei den technischen Teams liegt. Gesch\u00e4ftsinteressenten m\u00fcssen akzeptable Risikogrenzen festlegen und Einsatzkriterien genehmigen. KI-Ingenieure, Produktmanager, Compliance-Beauftragte und Fachexperten tragen gemeinsam die Verantwortung.<\/p>\n
Die Rolle des LLM als Richter<\/h2>\n
Die Bewertung von LLM-generierten Ergebnissen kann subjektiv und zeitaufw\u00e4ndig sein. Hier kommen die LLM-as-a-Judge-Techniken ins Spiel. Dabei werden unabh\u00e4ngige LLMs eingesetzt, um die Ergebnisse anderer LLMs zu bewerten, indem sie die Relevanz, die Faktizit\u00e4t oder den Ton der Antworten beurteilen.<\/p>\n
Manche m\u00f6gen zwar skeptisch sein, wenn es darum geht, KI zur Beurteilung von KI einzusetzen, aber die Erfahrung zeigt, dass unabh\u00e4ngige Modelle die erzeugten Ergebnisse zuverl\u00e4ssig beurteilen k\u00f6nnen. Die Voraussetzung f\u00fcr eine zuverl\u00e4ssige LLM-as-a-Judge ist jedoch, dass sie einfach ist und nur bin\u00e4re Urteile wie \u201cakzeptabel oder nicht\u201d abfragt. Mit anderen Worten: Eine \u201ceinfache KI\u201d, die spezifische bin\u00e4re Kriterien erzeugt, ist sehr effektiv bei der Beurteilung einer \u201ckomplexen KI\u201d, die lange Texte erzeugt. Diese Technik beschleunigt die Bewertungspipelines und verringert die Abh\u00e4ngigkeit von menschlichen Bewertern f\u00fcr jeden einzelnen Fall, auch wenn die menschliche Beurteilung bei hochrangigen Bewertungen weiterhin unerl\u00e4sslich ist.<\/p>\n
Leitplanken sind Sicherheitsnetze, die von Tag 1 an aufgebaut werden m\u00fcssen<\/h2>\n
Die Evaluierung ist eine wesentliche Komponente von Guardrails, die bekannte Fehlermodi mit proaktiven Kontrollen verhindern. Guardrails k\u00f6nnen auf der Eingabeebene (z.B. Filtern von Prompt-Injektionen), auf der Ausgabeebene (z.B. Blockieren unsicherer Vervollst\u00e4ndigungen) oder \u00fcber eine zwischengeschaltete Logik (z.B. Zugriffsbedingungen f\u00fcr Werkzeuge) angewendet werden.<\/p>\n
Aber Leitplanken sind mit Abstrichen verbunden. Wenn sie zu streng sind, f\u00fchren sie zu Ablehnungsschleifen oder stillen Fehlern, die die Benutzerfreundlichkeit beeintr\u00e4chtigen. Zu locker, und die Risikotoleranz wird \u00fcberschritten. Leitplanken m\u00fcssen sich mit den F\u00e4higkeiten des Agenten und dem Reifegrad des Unternehmens weiterentwickeln. Dabei beginnen Sie mit strengen Leitplanken, um Vertrauen zu schaffen, und lockern sie nach und nach, um den Wert zu steigern und gleichzeitig die Risiken zu kontrollieren. Daher ist das Entwerfen, Testen und Abstimmen von Leitplanken keine einmalige Aufgabe, sondern Teil des laufenden \u00dcberwachungslebenszyklus.<\/p>\n
Umgang mit Zwischenf\u00e4llen: Der Aufstieg der menschlichen Betreuer<\/h2>\n
Selbst bei gut ausgestatteten Systemen sind Zwischenf\u00e4lle unvermeidlich. Ein wichtiger Bestandteil der agentengest\u00fctzten \u00dcberwachung ist die Erkennung von Fehlern mit Leitplanken und deren Eskalation an menschliche Teams. Dabei kann es sich um Sicherheitsverst\u00f6\u00dfe, Aufgabenfehler, unklare Ergebnisse oder den Missbrauch von Werkzeugen handeln.<\/p>\n
Die Aufsichtst\u00e4tigkeit muss so gestaltet sein, dass sie ansprechend, nachhaltig und produktiv ist. Aufsichtspersonen an vorderster Front brauchen:<\/p>\n
- \n
- Reichhaltiger, strukturierter Kontext<\/b>: vollst\u00e4ndige Trace-Protokolle, Trigger-Erkl\u00e4rungen, Benutzer-Metadata.<\/li>\n
- Optimierte Schnittstellen<\/b>: Entscheidungsworkflows, Standardempfehlungen, Fallback-Optionen.<\/li>\n
- Intelligentes Routing<\/b>: weisen Sie Eskalationen auf der Grundlage von Fachwissen und Lastausgleich zu.<\/li>\n
- M\u00fcdigkeitsmanagement<\/b>: Sorgen Sie daf\u00fcr, dass Umfang und Komplexit\u00e4t der Alarme \u00fcberschaubar sind.<\/li>\n<\/ul>\n
Wenn die \u00dcberwachung gut gemacht ist, wird sie zu einem positiven Kreislauf: Menschliche Entscheidungen flie\u00dfen in die Umschulung von datasets ein und verfeinern die Leitplankenpolitik. Bei der \u00dcberwachung geht es nicht nur um die Eind\u00e4mmung, sondern um die langfristige Verbesserung der Agenten.<\/p>\n
Werkzeuge: Der AgentOps-Stapel<\/h2>\n
Um all dies zu operationalisieren, m\u00fcssen Unternehmen eine neue Klasse von Tools einsetzen: den AgentOps-Stack. Dazu geh\u00f6ren Plattformen wie LangSmith, Langfuse, DeepEval, Ragas, PRISM Eval, Giskard, Arize, Weights & Biases und Robust Intelligence for:<\/p>\n
- \n
- Beobachtbarkeit<\/li>\n
- Bewertung<\/li>\n
- Anmerkung zur Grundwahrheit<\/li>\n
- Experiment verfolgen<\/li>\n
- Leitplanken-Orchestrierung<\/li>\n<\/ul>\n
Die meisten Plattformen kombinieren diese Funktionen, aber jede hat ihre eigenen St\u00e4rken. Einige konzentrieren sich mehr auf die Beobachtbarkeit, andere auf die agentenbasierte Bereitstellung, wieder andere auf einen Risikobereich wie die Sicherheit. Diese Tools spiegeln DevOps- und MLOps-Plattformen wider, sind aber an die spezifischen Bed\u00fcrfnisse von Agentensystemen angepasst. Wir empfehlen, diese Tools in bestehende CI\/CD-Pipelines und data platforms zu integrieren, um Nachvollziehbarkeit und Wiederverwendung zu gew\u00e4hrleisten.<\/p>\n
Regieren ist ein Mannschaftssport<\/h2>\n
Eine der wichtigsten Schlussfolgerungen der Studie ist, dass die Steuerung von Agenten nicht allein in der Verantwortung von KI-Ingenieuren liegen kann. Gesch\u00e4ftsteams m\u00fcssen Leitplanken mitgestalten, akzeptable Risikoschwellen definieren und sich an Eskalationsprotokollen beteiligen. Rechtsabteilung, Compliance, Marketing und Support m\u00fcssen Zugang zu Dashboards haben, die auf ihre Risiken zugeschnitten sind.<\/p>\n
Dies setzt eine neue Form der Governance voraus, die die Beobachtbarkeit der KI mit der Rechenschaftspflicht des Unternehmens verbindet. Wir empfehlen, die Aufsichtsteams nicht nach Agenten, sondern nach Risikoarten (z.B. rechtlich, operativ, Marke) zu organisieren, um eine horizontale Aufsicht \u00fcber mehrere Agenten zu erm\u00f6glichen. Ohne eine solche Organisation wird es schwierig sein, das Vertrauen in die Agenten zu erh\u00f6hen.<\/p>\n
Die Rolle von DataOps<\/h2>\n
Agentische KI deckt die Schwachstellen in der Qualit\u00e4t von data in Unternehmen auf wie kaum ein anderes System zuvor. Retrieval-basierte Agenten decken oft veraltete, sensible oder irrelevante data auf, wenn die zugrunde liegenden Repositories nicht kuratiert sind. Aus diesem Grund muss die agentenbasierte Governance mit DataOps Hand in Hand gehen. Vorf\u00e4lle m\u00fcssen nicht nur bis zur Abfragelogik des Agenten zur\u00fcckverfolgt werden, sondern auch bis zu den data-Pipelines, die ihn speisen.<\/p>\n
AgentOps, wenn richtig gemacht, st\u00e4rkt das Unternehmen data governance. Und vice versa.<\/p>\n
Ein praktisches Spielbuch f\u00fcr den Einstieg<\/h2>\n
Um Unternehmen beim \u00dcbergang von der Theorie zur Praxis zu helfen, bieten wir vier Empfehlungen an:<\/p>\n
- \n
- Beginnen Sie mit echten Projekten, nicht mit Prototypen: <\/b>Konzentrieren Sie sich bei der Steuerung auf hochwertige Agenten, die f\u00fcr die Produktion bestimmt sind. Bauen Sie reale Systeme und keine Wegwerf-Demos, um die betrieblichen Realit\u00e4ten fr\u00fchzeitig zu erkennen.<\/li>\n
- Denken Sie bei den Werkzeugen zuerst an den Entwickler: <\/b>W\u00e4hlen Sie Observability-Tools, die technische Arbeitsabl\u00e4ufe unterst\u00fctzen. Business-Dashboards sind hilfreich, aber die Akzeptanz durch die Entwickler ist entscheidend f\u00fcr die Erfassung von Qualit\u00e4tsmetadata.<\/li>\n
- Kl\u00e4ren Sie die Risikoverantwortung: <\/b>Definieren Sie, welche Funktionen f\u00fcr welche Risiken verantwortlich sind. Wer ist f\u00fcr Sicherheit, Datenschutz, Befangenheit oder UX-Verschlechterung verantwortlich? Legen Sie Eskalationspfade und Abzeichnungsregeln fest.<\/li>\n
- Vereinheitlichen Sie AgentOps mit DataOps: <\/b>Behandeln Sie Agenten und data-Pipelines als zwei Seiten derselben Medaille. \u00dcberwachen Sie gemeinsam die data-Qualit\u00e4t und das Verhalten der Agenten, um die Ursachen von Zwischenf\u00e4llen zu diagnostizieren.<\/li>\n<\/ol>\n
Schlussfolgerung: Von der \u00dcberwachung zum strategischen Vorteil<\/h2>\n
Bei der \u00dcberwachung durch Agenten geht es nicht nur darum, Schaden zu verhindern, sondern auch darum, Vertrauen in gro\u00dfem Umfang zu erm\u00f6glichen. Durch die Einf\u00fchrung gemeinsamer Metriken, robuster Werkzeuge und kollaborativer Protokolle k\u00f6nnen Unternehmen den vollen Wert agentenbasierter Systeme aussch\u00f6pfen und gleichzeitig die Risiken unter Kontrolle halten.<\/p>\n
Agent Governance wird sich schnell weiterentwickeln. Aber ihre Grundlage ist zeitlos: Klarheit, Zusammenarbeit und kontinuierliches Lernen. Unternehmen, die sich diese Disziplin fr\u00fchzeitig zu eigen machen, werden nicht nur kostspielige Fehler vermeiden, sondern sich auch einen dauerhaften Wettbewerbsvorteil verschaffen.<\/p>","protected":false},"excerpt":{"rendered":"
In der sich entwickelnden Landschaft der Unternehmens-KI markiert der Aufstieg von Agentensystemen einen entscheidenden Wandel. KI-Agenten sind autonome Anwendungen, die durch gro\u00dfe Sprachmodelle (LLMs) angetrieben werden und in der Lage sind, zu denken, zu speichern und zu handeln. Sie reagieren nicht mehr passiv auf Benutzereingaben, sondern sind aktive Entscheidungstr\u00e4ger, die Gesch\u00e4ftsprozesse in Echtzeit beeinflussen. Doch mit der Autonomie kommt das Risiko, und mit dem Risiko kommt die Notwendigkeit einer strukturierten \u00dcberwachung. In diesem neuen Paradigma ist die \u00dcberwachung von technischen Systemen nicht mehr optional, sondern grundlegend.<\/p>","protected":false},"featured_media":789344,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-789213","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/789213","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/789344"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=789213"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=789213"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=789213"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Denken Sie bei den Werkzeugen zuerst an den Entwickler: <\/b>W\u00e4hlen Sie Observability-Tools, die technische Arbeitsabl\u00e4ufe unterst\u00fctzen. Business-Dashboards sind hilfreich, aber die Akzeptanz durch die Entwickler ist entscheidend f\u00fcr die Erfassung von Qualit\u00e4tsmetadata.<\/li>\n
- Beginnen Sie mit echten Projekten, nicht mit Prototypen: <\/b>Konzentrieren Sie sich bei der Steuerung auf hochwertige Agenten, die f\u00fcr die Produktion bestimmt sind. Bauen Sie reale Systeme und keine Wegwerf-Demos, um die betrieblichen Realit\u00e4ten fr\u00fchzeitig zu erkennen.<\/li>\n
- Optimierte Schnittstellen<\/b>: Entscheidungsworkflows, Standardempfehlungen, Fallback-Optionen.<\/li>\n
- Bewertung<\/b>: Verwenden Sie Qualit\u00e4tsmetriken und Risikoindikatoren, um die Leistung im Vergleich zu den vom Unternehmen definierten Zielen und Kontrollschwellen zu bewerten.<\/li>\n