![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2025\/07\/etude-agentic-supervision.png\")
T\u00e9l\u00e9chargez l'enqu\u00eate<\/a><\/p>\nEn quoi l'IA agentique est-elle diff\u00e9rente ?<\/h2>\n
Les syst\u00e8mes d'IA agentique ne sont pas des logiciels traditionnels. Ils sont probabilistes, ce qui signifie que leurs r\u00e9sultats, bien que fortement influenc\u00e9s par le contexte d'entr\u00e9e, varient \u00e0 chaque ex\u00e9cution. Les logiciels traditionnels, au contraire, sont r\u00e9gis par des r\u00e8gles d\u00e9terministes, auxquelles on peut faire enti\u00e8rement confiance si elles sont bien con\u00e7ues, parce qu'elles appliquent constamment la m\u00eame logique, invariante et correcte. La limite des logiciels traditionnels est toutefois qu'ils ne peuvent pas r\u00e9soudre un probl\u00e8me nouveau, m\u00eame l\u00e9g\u00e8rement diff\u00e9rent. Les agents d'intelligence artificielle r\u00e9solvent cette limitation du champ d'application au d\u00e9triment de la fiabilit\u00e9. Ils int\u00e8grent des capacit\u00e9s de langage naturel avec le pouvoir d'agir de mani\u00e8re autonome \u00e0 travers des outils internes, des API ou des bases data pour r\u00e9soudre de nouveaux probl\u00e8mes. Cette flexibilit\u00e9 permet une cr\u00e9ation de valeur impressionnante dans les domaines de l'assistance \u00e0 la client\u00e8le, des op\u00e9rations, des ressources humaines et de l'approvisionnement.<\/p>\n
Mais les syst\u00e8mes d'IA agentique bouleversent \u00e9galement les hypoth\u00e8ses de longue date en mati\u00e8re de gouvernance des logiciels. Alors que le code traditionnel est test\u00e9 une fois et d\u00e9ploy\u00e9 en toute confiance, les agents doivent \u00eatre d\u00e9ploy\u00e9s en tenant compte des risques, et \u00eatre constamment contr\u00f4l\u00e9s, \u00e9valu\u00e9s et am\u00e9lior\u00e9s. L'avenir de la gouvernance agentique ne se r\u00e9sume donc pas \u00e0 la certification au moment du d\u00e9ploiement, mais aussi \u00e0 la supervision continue \u00e0 grande \u00e9chelle.<\/p>\n
Le principal compromis : valeur ou risque<\/h2>\n
Les entreprises sont confront\u00e9es \u00e0 un d\u00e9fi majeur avec les agents d'intelligence artificielle : le risque z\u00e9ro n'existe pas avec la logique probabiliste. Par cons\u00e9quent, les \u00e9quipes de d\u00e9veloppement d'agents d'IA doivent apporter de la valeur avec un risque acceptable. D'une part, des agents tr\u00e8s permissifs peuvent apporter de la valeur mais aussi poser des risques op\u00e9rationnels, de r\u00e9putation, \u00e9thiques ou financiers. D'autre part, les agents tr\u00e8s contraignants peuvent \u00eatre s\u00fbrs, pr\u00e9f\u00e9rant des r\u00e9ponses simples et superficielles, mais offrir une utilit\u00e9 limit\u00e9e.<\/p>\n
Ce compromis entre valeur et risque doit \u00eatre g\u00e9r\u00e9 de mani\u00e8re explicite. Les entreprises doivent d\u00e9finir ce que signifie la \u201cvaleur\u201d dans le contexte (taux de r\u00e9ussite des t\u00e2ches, engagement de l'utilisateur, gains de productivit\u00e9) ainsi que les risques qui doivent \u00eatre contr\u00f4l\u00e9s : hallucination, latence, biais, atteinte \u00e0 la r\u00e9putation ou d\u00e9passement des co\u00fbts. La supervision devient le m\u00e9canisme op\u00e9rationnel qui assure cet \u00e9quilibre \u00e0 chaque \u00e9tape du cycle de vie de l'agent d'IA : lors de la conception, du d\u00e9veloppement, du d\u00e9ploiement et de l'ex\u00e9cution.<\/p>\n
La supervision en trois \u00e9tapes : Observer, \u00c9valuer, Agir<\/h2>\n
Pour parvenir \u00e0 cet \u00e9quilibre, les entreprises doivent mettre en place une supervision agentique autour de trois capacit\u00e9s essentielles :<\/p>\n
- \n
- Observation<\/b>: Capturez la t\u00e9l\u00e9m\u00e9trie structur\u00e9e data - entr\u00e9es, sorties, appels d'outils, erreurs et commentaires humains.<\/li>\n
- L'\u00e9valuation<\/b>: Utilisez des mesures de qualit\u00e9 et des indicateurs de risque pour \u00e9valuer les performances par rapport aux objectifs et aux seuils de contr\u00f4le d\u00e9finis par l'entreprise.<\/li>\n
- Action<\/b>: Escaladez et g\u00e9rez les incidents, reformulez les mod\u00e8les, ajustez les garde-fous ou annulez les mises \u00e0 jour de l'agent.<\/li>\n<\/ol>\n
Ce processus, appel\u00e9\u00a0\u201cSupervision active\u201d<\/b>, L'IA, qui refl\u00e8te les pratiques DevOps, doit \u00eatre adapt\u00e9e \u00e0 la nature probabiliste et \u00e9volutive de l'IA, et \u00e9tendue au-del\u00e0 des \u00e9quipes techniques pour englober les processus et les \u00e9quipes commerciales (succ\u00e8s client, RH, juridique, op\u00e9rations, etc.).<\/p>\n
La supervision commence d\u00e8s la naissance de l'agent<\/h2>\n
La gouvernance agentique commence bien avant le d\u00e9ploiement. Les \u00e9quipes techniques et commerciales doivent collaborer d\u00e8s la phase d'exploration pour d\u00e9finir les crit\u00e8res de r\u00e9ussite, identifier les types de risques et d\u00e9cider de la strat\u00e9gie d'\u00e9valuation. Cette approche de co-conception garantit que les agents sont non seulement techniquement robustes, mais aussi align\u00e9s sur les priorit\u00e9s de l'entreprise d\u00e8s le d\u00e9part.<\/p>\n
Lors de la phase de conception, les \u00e9quipes ont souvent besoin de construire des ensembles data de \u201cv\u00e9rit\u00e9 de terrain\u201d qui refl\u00e8tent le comportement souhait\u00e9 de l'agent. Ces ensembles deviennent essentiels pour la formation et l'\u00e9valuation. Au cours du d\u00e9veloppement, les \u00e9quipes doivent d\u00e9terminer les seuils de validation (go\/no-go) en fonction de plusieurs param\u00e8tres. Le succ\u00e8s n'est plus binaire (par exemple, tous les tests r\u00e9ussissent) ; il est probabiliste (par exemple, >90% pour la r\u00e9ussite des t\u00e2ches, <2% pour la toxicit\u00e9), ce qui n\u00e9cessite une gouvernance pour d\u00e9finir ce qui est \u201csuffisamment bon\u201d.<\/p>\n
La supervision ne s'arr\u00eate pas au d\u00e9ploiement. Le contr\u00f4le continu de la production est essentiel pour \u00e9valuer et perfectionner les agents. Lorsqu'un incident survient, l'\u00e9quipe commerciale responsable de la r\u00e9solution manuelle doit communiquer \u00e0 l'\u00e9quipe d'agents le comportement correct attendu, ce qui permet d'enrichir et d'am\u00e9liorer l'ensemble dataset.<\/p>\n
Le d\u00e9ploiement bas\u00e9 sur des mesures n\u00e9cessite l'apport des entreprises<\/h2>\n
Une innovation majeure dans la gouvernance des agents est l'id\u00e9e que les agents sont lib\u00e9r\u00e9s sur la base de seuils m\u00e9triques multidimensionnels. Il s'agit notamment des\u00a0les mesures de performance<\/b>\u00a0(pr\u00e9cision, latence),\u00a0indicateurs de performance des entreprises<\/b>\u00a0(ach\u00e8vement de la t\u00e2che), et\u00a0l'\u00e9valuation des risques<\/b>\u00a0(toxicit\u00e9, partialit\u00e9, violation de la politique).<\/p>\n
Il est essentiel que la d\u00e9cision de mettre un agent en production ne repose pas uniquement sur les \u00e9quipes techniques. Les parties prenantes de l'entreprise doivent d\u00e9finir les seuils de risque acceptables et approuver les crit\u00e8res de d\u00e9ploiement. La gouvernance devient une responsabilit\u00e9 partag\u00e9e entre les ing\u00e9nieurs en IA, les chefs de produit, les responsables de la conformit\u00e9 et les experts du domaine.<\/p>\n
Le r\u00f4le du LLM en tant que juge<\/h2>\n
L'\u00e9valuation des r\u00e9sultats g\u00e9n\u00e9r\u00e9s par le LLM peut \u00eatre subjective et prendre du temps. C'est l\u00e0 que les techniques de LLM en tant que juge entrent en jeu. Elles consistent \u00e0 utiliser des LLM ind\u00e9pendants pour \u00e9valuer les r\u00e9sultats d'autres LLM, en \u00e9valuant la pertinence, la factualit\u00e9 ou le ton de la r\u00e9ponse.<\/p>\n
Bien que certains soient sceptiques quant \u00e0 l'utilisation de l'IA pour juger l'IA, l'exp\u00e9rience montre que des mod\u00e8les ind\u00e9pendants peuvent \u00e9valuer de mani\u00e8re fiable les r\u00e9sultats g\u00e9n\u00e9r\u00e9s. Toutefois, la condition d'un LLM-as-a-Judge fiable est la simplicit\u00e9 et le fait de ne demander que des jugements binaires tels que \u201cacceptable ou non\u201d. En d'autres termes, une \u201cIA simple\u201d g\u00e9n\u00e9rant des crit\u00e8res binaires sp\u00e9cifiques est tr\u00e8s efficace pour juger une \u201cIA complexe\u201d g\u00e9n\u00e9rant de longs textes. Cette technique permet d'acc\u00e9l\u00e9rer les processus d'\u00e9valuation et de r\u00e9duire la d\u00e9pendance \u00e0 l'\u00e9gard des \u00e9valuateurs humains pour chaque cas, m\u00eame si le jugement humain reste essentiel dans les examens \u00e0 fort enjeu.<\/p>\n
Les garde-fous sont des filets de s\u00e9curit\u00e9 \u00e0 mettre en place d\u00e8s le premier jour.<\/h2>\n
L'\u00e9valuation est un \u00e9l\u00e9ment essentiel des garde-fous qui pr\u00e9viennent les modes de d\u00e9faillance connus par des contr\u00f4les proactifs. Les garde-fous peuvent \u00eatre appliqu\u00e9s au niveau de l'entr\u00e9e (par exemple, filtrer les injections rapides), au niveau de la sortie (par exemple, bloquer les ach\u00e8vements dangereux) ou par le biais d'une logique interm\u00e9diaire (par exemple, conditions d'acc\u00e8s \u00e0 l'outil).<\/p>\n
Mais les garde-fous sont assortis de compromis. Trop strictes, elles provoquent des boucles de rejet ou des \u00e9checs silencieux qui d\u00e9gradent l'exp\u00e9rience utilisateur. S'ils sont trop souples, la tol\u00e9rance au risque est d\u00e9pass\u00e9e. Les garde-fous doivent \u00e9voluer avec les capacit\u00e9s de l'agent et la maturit\u00e9 de l'entreprise, en commen\u00e7ant par des garde-fous stricts pour garantir la confiance et en les assouplissant progressivement pour am\u00e9liorer la valeur tout en contr\u00f4lant les risques. Par cons\u00e9quent, la conception, le test et le r\u00e9glage des garde-fous ne sont pas des t\u00e2ches ponctuelles, mais font partie du cycle de vie de la supervision.<\/p>\n
Traitement des incidents : La mont\u00e9e en puissance des superviseurs humains<\/h2>\n
M\u00eame avec des syst\u00e8mes bien instrument\u00e9s, les incidents sont in\u00e9vitables. Une partie essentielle de la supervision agentique consiste \u00e0 d\u00e9tecter les d\u00e9faillances avec des garde-fous et \u00e0 les transmettre \u00e0 des \u00e9quipes humaines. Il peut s'agir de violations de la s\u00e9curit\u00e9, de d\u00e9faillances de t\u00e2ches, de r\u00e9sultats ambigus ou d'une mauvaise utilisation des outils.<\/p>\n
Le travail de supervision doit \u00eatre con\u00e7u pour \u00eatre engageant, durable et productif. Les superviseurs de premi\u00e8re ligne ont besoin<\/p>\n
- \n
- Un contexte riche et structur\u00e9<\/b>: journaux de trace complets, explications sur les d\u00e9clencheurs, m\u00e9tadata de l'utilisateur.<\/li>\n
- Interfaces simplifi\u00e9es<\/b>Les informations relatives \u00e0 l'utilisation de l'Internet sont les suivantes : flux de d\u00e9cisions, recommandations par d\u00e9faut, options de repli.<\/li>\n
- Routage intelligent<\/b>les escalades sont attribu\u00e9es en fonction de l'expertise et de l'\u00e9quilibrage de la charge.<\/li>\n
- Gestion de la fatigue<\/b>Les alertes doivent \u00eatre g\u00e9r\u00e9es de mani\u00e8re \u00e0 ce que leur volume et leur complexit\u00e9 soient g\u00e9rables.<\/li>\n<\/ul>\n
Lorsqu'elle est bien men\u00e9e, la supervision devient une boucle vertueuse : les d\u00e9cisions humaines alimentent le recyclage des datasets et affinent les politiques relatives aux garde-fous. La supervision ne se limite pas \u00e0 l'endiguement, elle favorise l'am\u00e9lioration \u00e0 long terme des agents.<\/p>\n
L'outillage : La pile AgentOps<\/h2>\n
Pour rendre tout cela op\u00e9rationnel, les entreprises doivent adopter une nouvelle classe d'outils : la pile AgentOps. Il s'agit de plateformes telles que LangSmith, Langfuse, DeepEval, Ragas, PRISM Eval, Giskard, Arize, Weights & Biases et Robust Intelligence for :<\/p>\n
- \n
- Observabilit\u00e9<\/li>\n
- L'\u00e9valuation<\/li>\n
- Annotation de la v\u00e9rit\u00e9 de terrain<\/li>\n
- Suivi des exp\u00e9riences<\/li>\n
- Orchestration du garde-fou<\/li>\n<\/ul>\n
La plupart des plateformes combinent ces caract\u00e9ristiques, mais chacune poss\u00e8de des atouts sp\u00e9cifiques. Certaines se concentrent davantage sur l'observabilit\u00e9, d'autres sur le d\u00e9ploiement agentique, d'autres encore sur un risque vertical comme la s\u00e9curit\u00e9. Ces outils refl\u00e8tent les plateformes DevOps et MLOps mais sont adapt\u00e9s aux besoins sp\u00e9cifiques des syst\u00e8mes agentiques. Nous recommandons d'int\u00e9grer ces outils aux pipelines CI\/CD et data platforms existants pour maintenir la tra\u00e7abilit\u00e9 et la r\u00e9utilisation.<\/p>\n
La gouvernance est un sport d'\u00e9quipe<\/h2>\n
L'une des principales conclusions de l'\u00e9tude est que la gouvernance des agents ne peut pas \u00eatre la seule responsabilit\u00e9 des ing\u00e9nieurs en IA. Les \u00e9quipes commerciales doivent concevoir ensemble des garde-fous, d\u00e9finir des seuils de risque acceptables et participer aux protocoles d'escalade. Les services juridiques, de conformit\u00e9, de marketing et d'assistance doivent avoir acc\u00e8s \u00e0 des tableaux de bord adapt\u00e9s \u00e0 leurs risques.<\/p>\n
Cela implique une nouvelle forme de gouvernance, qui allie l'observabilit\u00e9 de l'IA \u00e0 la responsabilit\u00e9 de l'entreprise. Nous recommandons d'organiser les \u00e9quipes de supervision non pas par agent mais par type de risque (par exemple, juridique, op\u00e9rationnel, de marque), ce qui permet une supervision horizontale entre plusieurs agents. Sans une telle organisation, il sera difficile d'\u00e9tendre la confiance agentique.<\/p>\n
Le r\u00f4le de DataOps<\/h2>\n
L'IA agentique r\u00e9v\u00e8le les failles de la qualit\u00e9 data de l'entreprise comme peu de syst\u00e8mes l'ont fait auparavant. Les agents bas\u00e9s sur la recherche font souvent appara\u00eetre des data p\u00e9rim\u00e9es, sensibles ou non pertinentes si les r\u00e9f\u00e9rentiels sous-jacents ne sont pas contr\u00f4l\u00e9s. C'est pourquoi la gouvernance des agents doit aller de pair avec les DataOps. Les incidents doivent \u00eatre retrac\u00e9s non seulement jusqu'\u00e0 la logique d'invite de l'agent, mais aussi jusqu'aux pipelines de data qui l'alimentent.<\/p>\n
L'AgentOps, lorsqu'il est bien fait, renforce l'entreprise data governance. Et vice versa.<\/p>\n
Un guide pratique pour d\u00e9marrer<\/h2>\n
Pour aider les entreprises \u00e0 passer de la th\u00e9orie \u00e0 la pratique, nous proposons quatre recommandations :<\/p>\n
- \n
- Commencez par des projets r\u00e9els, pas des prototypes : <\/b>Concentrez les efforts de gouvernance sur les agents de grande valeur destin\u00e9s \u00e0 la production. Construisez des syst\u00e8mes r\u00e9els, et non des d\u00e9monstrations jetables, afin de d\u00e9couvrir rapidement les r\u00e9alit\u00e9s op\u00e9rationnelles.<\/li>\n
- Pensez d'abord au d\u00e9veloppeur en mati\u00e8re d'outillage : <\/b>Choisissez des outils d'observabilit\u00e9 qui soutiennent les flux de travail de l'ing\u00e9nierie. Les tableaux de bord sont utiles, mais l'adoption par les d\u00e9veloppeurs est essentielle pour collecter des m\u00e9tadata de qualit\u00e9.<\/li>\n
- Clarifier la propri\u00e9t\u00e9 des risques : <\/b>D\u00e9finissez quelles fonctions sont responsables de quels risques. Qui est responsable de la s\u00e9curit\u00e9, de la confidentialit\u00e9, de la partialit\u00e9 ou de la d\u00e9gradation de l'interface utilisateur ? \u00c9tablissez des voies d'escalade et des r\u00e8gles d'approbation.<\/li>\n
- Unifiez AgentOps avec DataOps : <\/b>Traitez les agents et les pipelines data comme les deux faces d'une m\u00eame pi\u00e8ce. Supervisez conjointement la qualit\u00e9 de data et le comportement des agents afin de diagnostiquer les causes profondes des incidents.<\/li>\n<\/ol>\n
Conclusion : De la supervision \u00e0 l'avantage strat\u00e9gique<\/h2>\n
La supervision agentique ne consiste pas seulement \u00e0 pr\u00e9venir les dommages, mais aussi \u00e0 instaurer la confiance \u00e0 grande \u00e9chelle. En \u00e9tablissant des mesures partag\u00e9es, des outils robustes et des protocoles de collaboration, les organisations peuvent exploiter toute la valeur des syst\u00e8mes agentiques tout en gardant les risques sous contr\u00f4le.<\/p>\n
La gouvernance des agents \u00e9voluera rapidement. Mais ses fondements sont intemporels : clart\u00e9, collaboration et apprentissage continu. Les entreprises qui adoptent cette discipline tr\u00e8s t\u00f4t \u00e9viteront non seulement des erreurs co\u00fbteuses, mais elles se forgeront un avantage concurrentiel durable.<\/p>","protected":false},"excerpt":{"rendered":"
Dans le paysage \u00e9volutif de l'IA d'entreprise, l'essor des syst\u00e8mes agentiques marque un tournant d\u00e9cisif. Les agents d'IA sont des applications autonomes aliment\u00e9es par de grands mod\u00e8les de langage (LLM) capables de raisonner, de m\u00e9moriser et d'agir. Ils ne sont plus des r\u00e9pondeurs passifs aux donn\u00e9es de l'utilisateur, mais des d\u00e9cideurs actifs qui influencent les processus d'entreprise en temps r\u00e9el. Mais l'autonomie s'accompagne d'un risque, et le risque s'accompagne de la n\u00e9cessit\u00e9 d'une supervision structur\u00e9e. Dans ce nouveau paradigme, la supervision des syst\u00e8mes technologiques n'est plus facultative, elle est fondamentale.<\/p>","protected":false},"featured_media":789344,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-789213","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog\/789213","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media\/789344"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/media?parent=789213"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-category?post=789213"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/fr\/wp-json\/wp\/v2\/blog-language?post=789213"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Pensez d'abord au d\u00e9veloppeur en mati\u00e8re d'outillage : <\/b>Choisissez des outils d'observabilit\u00e9 qui soutiennent les flux de travail de l'ing\u00e9nierie. Les tableaux de bord sont utiles, mais l'adoption par les d\u00e9veloppeurs est essentielle pour collecter des m\u00e9tadata de qualit\u00e9.<\/li>\n
- Commencez par des projets r\u00e9els, pas des prototypes : <\/b>Concentrez les efforts de gouvernance sur les agents de grande valeur destin\u00e9s \u00e0 la production. Construisez des syst\u00e8mes r\u00e9els, et non des d\u00e9monstrations jetables, afin de d\u00e9couvrir rapidement les r\u00e9alit\u00e9s op\u00e9rationnelles.<\/li>\n
- Interfaces simplifi\u00e9es<\/b>Les informations relatives \u00e0 l'utilisation de l'Internet sont les suivantes : flux de d\u00e9cisions, recommandations par d\u00e9faut, options de repli.<\/li>\n
- L'\u00e9valuation<\/b>: Utilisez des mesures de qualit\u00e9 et des indicateurs de risque pour \u00e9valuer les performances par rapport aux objectifs et aux seuils de contr\u00f4le d\u00e9finis par l'entreprise.<\/li>\n