Introduction

Un client avec lequel nous avons collaboré l'année dernière a développé un agent d'IA dédié aux demandes d'achat. Celui-ci analysait les documents des fournisseurs, comparait les tarifs, signalait les risques de non-conformité et formulait des recommandations. Il fonctionnait bien. Mais quelques mois après sa mise en service, l'équipe s'est heurtée à une question à laquelle elle ne savait pas vraiment répondre : comment évaluer si les résultats sont toujours de bonne qualité ?

Ils effectuaient des contrôles ponctuels manuels sur quelques dossiers par semaine. Les alertes de conformité se déclenchaient pour certaines demandes, mais pas pour d’autres qui semblaient similaires. Les comparaisons de prix étaient généralement exactes, mais présentaient parfois des écarts significatifs. L’agent apportait une valeur ajoutée, mais l’équipe ne disposait d’aucun moyen systématique pour quantifier cette valeur, ni pour déterminer si la qualité s’améliorait ou se détériorait.

Il s'agit là d'une étape familière dans le processus d'adoption de l'IA agentique. Le système fonctionne suffisamment bien pour des tâches concrètes, et l'organisation est prête à passer de “ cela fonctionne ” à “ nous pouvons prouver que cela fonctionne ”. Cette transition nécessite un type d'évaluation différent de celui auquel la plupart des équipes sont habituées, et il s'agit là de l'une des capacités les plus importantes que les organisations sont en train de développer actuellement.

Pourquoi les agents ont besoin de leur propre méthode d'évaluation

L'apprentissage automatique traditionnel disposait d'indicateurs clairs : précision, rappel, AUC. Même les premières IA génératives pouvaient s'appuyer sur des évaluations de préférences humaines et sur des ensembles de référence data. Les agents sont suffisamment différents pour que ces approches ne soient pas directement transposables.

La raison principale tient au fait que les agents opèrent à travers plusieurs étapes. Ils prennent des décisions de branchement, font appel à des outils, gèrent les erreurs et produisent des résultats qui dépendent du chemin qu’ils ont emprunté. Si vous exécutez deux fois le même agent avec la même entrée, vous pouvez obtenir des séquences d’appel d’outils différentes, des raisonnements intermédiaires différents et des résultats finaux différents – qui peuvent tous être parfaitement valables. Un agent qui résout un problème en suivant une séquence d’étapes différente de celle attendue n’a pas tort. Il se peut même que ce soit mieux ainsi.

Cela signifie que l'évaluation doit évoluer. Chez Artefact, nous travaillons sur des approches concrètes à cet égard dans le cadre de nos interventions axées sur l'agent, et un ensemble clair de modèles se dessine, qui donne de bons résultats en production.

En quoi l'évaluation des agents est-elle différente ?

Trois éléments distinguent l'évaluation des agents de celle des modèles.

Le premier est non-déterminisme. En apprentissage automatique classique, vous évaluez un modèle par rapport à un ensemble de test et obtenez un résultat stable. Avec les agents, le résultat dépend d’une chaîne d’appels de LLM, d’invocations d’outils et de décisions de branchement. Affirmer que “ l’agent doit appeler la fonction X avant la fonction Y ” ne fonctionne pas lorsqu’il existe plusieurs ordres valides. L’évaluation doit tenir compte des différents chemins corrects menant au même résultat.

Le second est dépendance vis-à-vis du cheminement. La réponse finale d’un agent résulte d’une chaîne de décisions, chacune influençant la suivante. Deux agents peuvent aboutir au même résultat correct, mais l’un d’eux s’est remis d’une défaillance de l’outil survenue en cours de route, tandis que l’autre a simplement réussi à l’éviter. Se concentrer uniquement sur le résultat final ne permet pas de saisir cette différence. Comprendre le cheminement du raisonnement vous offre une vision bien plus complète de la robustesse du système.

Le troisième est correction dépendante du contexte. Dans de nombreux cas de figure en entreprise, la qualité s'inscrit dans un continuum. Un responsable des achats qui négocie une remise de 12% fait du bon travail.

Une solution qui permet de négocier 15% est préférable. Une solution qui permet de négocier 10% tout en préservant une relation cruciale avec un fournisseur pourrait bien être la meilleure de toutes. Une évaluation pertinente doit tenir compte du contexte commercial, et pas seulement du fait que le résultat soit juste ou faux.

Des approches qui ont fait leurs preuves en production

Certaines approches donnent déjà de bons résultats, et leur point commun réside dans le fait de considérer les agents davantage comme des systèmes que comme des modèles.

Évaluation au niveau des trajectoires C'est sans doute le changement le plus significatif. Plutôt que de noter uniquement le résultat final, les équipes évaluent l'ensemble de la séquence d'actions de l'agent. L'agent a-t-il identifié les bonnes sous-tâches ? A-t-il utilisé les outils appropriés ? A-t-il su se remettre de ses erreurs ? A-t-il fait remonter le problème lorsqu’il le fallait ? Cela nécessite une journalisation structurée de chaque étape effectuée par l’agent, ainsi que des grilles d’évaluation permettant de noter le parcours dans son ensemble. Cela offre aux équipes une vision bien plus complète de la qualité de l’agent que le simple examen des résultats finaux.

LLM en tant que juge avec des grilles d'évaluation calibrées a également évolué rapidement. Le recours à un LLM distinct pour évaluer les résultats des agents devient la norme, et la clé pour garantir la fiabilité de ce processus réside dans la grille d'évaluation. Définissez des critères explicites, fournissez des exemples classés par niveau de qualité (bonnes et mauvaises performances) et calibrez régulièrement le système d'évaluation en fonction des évaluations humaines. Les équipes qui parviennent à établir une grille d'évaluation pertinente constatent une forte corrélation avec le jugement humain.

Tests basés sur des scénarios Il existe une autre approche qui s'avère très efficace. Les équipes les plus performantes avec lesquelles je travaille disposent de bibliothèques comprenant entre 50 et 200 scénarios couvrant les cas de fonctionnement normal, les cas limites, les entrées malveillantes et les modes de défaillance connus. Ces bibliothèques s'enrichissent à chaque incident de production et deviennent l'un des atouts les plus précieux d'un programme d'IA agentique.

Et évaluation continue en production C'est ce qui permet de tout relier. Les tests préalables au déploiement vous apportent de la confiance au moment du lancement. L'évaluation continue vous apporte de la confiance au quotidien par la suite. En prélevant des échantillons d'interactions en production, en les soumettant à des pipelines d'évaluation et en suivant les indicateurs de qualité au fil du temps, les équipes peuvent améliorer les agents de manière systématique plutôt que de manière réactive.

“ L'évaluation n'est pas une démarche que l'on effectue avant le lancement pour ensuite passer à autre chose. Il s'agit d'une pratique continue, et ce sont les équipes qui l'envisagent ainsi qui lancent leurs produits en toute confiance. ” – Abhishek Singh, directeur scientifique de Data, Artefact

Définir le bon modèle de propriété

Il y a un aspect organisationnel à cet égard qui mérite d'être abordé.

Dans le domaine de l'apprentissage automatique traditionnel, le chercheur « data » qui a développé le modèle était généralement responsable de son évaluation. Dans les systèmes basés sur des agents, le champ d'action est plus large. L'agent intervient dans plusieurs processus métier, fait appel à des outils gérés par différentes équipes et produit des résultats qui ont un impact sur les parties prenantes de l'ensemble de l'organisation. Les modèles de responsabilité en matière d’évaluation des agents sont encore en cours d’élaboration dans l’ensemble du secteur, et il est essentiel de bien définir ces aspects dès le début pour faire la différence.

Les équipes qui y parviennent désignent clairement un responsable de l'évaluation : il ne s'agit pas nécessairement d'une équipe dédiée, mais d'une personne ou d'un service chargé de définir les normes de qualité, de mettre en place l'infrastructure d'évaluation et de veiller à ce que le développement réponde à des critères mesurables. Le fait de préciser dès le départ qui en est responsable permet d'éviter que chacun ne parte du principe que quelqu'un d'autre s'en charge.

Recommandations pratiques

Au vu de ce que nous avons pu observer au cours de nos différentes missions, voici ce que je recommanderais aux équipes qui investissent dans l'IA agentique.

Commencez par définir le cadre d'évaluation, et non par l'agent lui-même. Avant d'écrire le code de l'agent, définissez ce que vous considérez comme une réussite. Quels sont les résultats mesurables ? À quoi ressemble une bonne trajectoire ? Quels modes de défaillance souhaitez-vous détecter dès le début ? Ce travail en amont permet d'éviter la situation courante où les équipes développent un agent performant, puis passent des mois à chercher comment le valider.

Misez dès le départ sur la journalisation structurée. Chaque appel d'outil, chaque point de décision, chaque interaction avec un modèle de langage de grande envergure (LLM) doit être consigné dans un format structuré et consultable. Sans cela, vous ne pouvez qu'évaluer les résultats sans comprendre comment l'agent y est parvenu. Mettre en place l'observabilité a posteriori coûte plus cher que de l'intégrer dès le départ.

Constituez une bibliothèque de scénarios et considérez-la comme une ressource à part entière. Gérez-en les versions, revoyez-la et enrichissez-la à chaque incident de production.

Prévoyez une évaluation continue dès le début. Et désignez dès le départ un responsable de l'évaluation clairement identifié : les équipes qui passent le plus rapidement de la phase pilote à la mise en production sont celles au sein desquelles une personne est explicitement chargée de veiller à la qualité des agents.

Notre approche chez Artefact

Chez Artefact, l'évaluation fait partie intégrante de notre méthodologie « AI Factory » en tant qu'axe de travail central. Chaque projet d'agent comprend une phase de conception d'un cadre d'évaluation qui se déroule en parallèle du développement de l'agent. Nous définissons des grilles d'évaluation au niveau des trajectoires, constituons des bibliothèques de scénarios adaptées au cas d'utilisation et mettons en place un suivi continu avant la mise en service de l'agent.

Le raisonnement qui sous-tend cette approche est simple : un agent que l'on peut évaluer est un agent auquel on peut faire confiance, que l'on peut améliorer et dont on peut faire évoluer la capacité. Les organisations avec lesquelles nous travaillons et qui adoptent cette approche dès le début parviennent systématiquement à passer en production plus rapidement et en suscitant davantage de confiance de la part des parties prenantes.

L'évaluation comme avantage concurrentiel

L'IA agentique évolue rapidement. Les frameworks s'améliorent, les modèles sont plus performants et les cas d'utilisation sont concrets. Les méthodes d'évaluation rattrapent leur retard, et les organisations qui investissent dès maintenant dans ce domaine se forgent un véritable avantage concurrentiel.

Lorsqu’elle est menée à bien, l’évaluation vous permet de déployer des agents en toute confiance, de les améliorer au fil du temps et de présenter aux parties prenantes des preuves concrètes plutôt que de simples démonstrations. Cette discipline est relativement récente, mais les approches sont de mieux en mieux comprises, et les équipes qui les adopteront dès maintenant seront bien placées lorsque l’IA agentique fera partie intégrante du fonctionnement des entreprises.