Le probl\u00e8me des hallucinations<\/h2>\n
Les grands mod\u00e8les linguistiques sont \u00e9tonnamment capables. Ils r\u00e9sument, traduisent, raisonnent et codent (mieux que moi). Mais contrairement \u00e0 moi, ils sont \u00e9galement devenus c\u00e9l\u00e8bres pour avoir invent\u00e9 des faits avec une confiance d\u00e9concertante.<\/p>\n
Dans la litt\u00e9rature sur le traitement du langage naturel (NLP), une hallucination est un contenu g\u00e9n\u00e9r\u00e9 par un mod\u00e8le qui est factuellement incorrect, absurde ou infid\u00e8le \u00e0 une source fournie, tout en paraissant parfaitement plausible. Les cons\u00e9quences peuvent \u00eatre b\u00e9nignes (une mauvaise r\u00e9ponse \u00e0 un jeu-questionnaire) ou graves (une citation juridique fabriqu\u00e9e de toutes pi\u00e8ces, une posologie de m\u00e9dicament incorrecte). Au fur et \u00e0 mesure que les organisations int\u00e8grent les LLM dans les syst\u00e8mes de production, la question se d\u00e9place de \u201cCe mod\u00e8le peut-il g\u00e9n\u00e9rer un texte utile ?\u201d<\/em> \u00e0 \u201cPeut-on se fier \u00e0 ce qu'il vient de dire ?\u201d<\/em><\/p>\n Prenons un exemple concret. Vous travaillez dans une institution financi\u00e8re et vous demandez \u00e0 votre LLM local :<\/p>\n \u201cQuel a \u00e9t\u00e9 le chiffre d'affaires net d'Emerson Electric en 2023 ?\u201d<\/p><\/blockquote>\n Le mod\u00e8le r\u00e9pond : \u201cEmerson Electric a d\u00e9clar\u00e9 un revenu net d'environ $15,2 milliards pour l'ann\u00e9e fiscale 2023.\u201d<\/em> Cela semble raisonnable. Mais est-ce bien le cas ? Vous n'avez pas le rapport annuel ouvert. Vous n'avez pas de v\u00e9rit\u00e9 de base \u00e0 laquelle comparer. Vous n'avez que les r\u00e9sultats du mod\u00e8le - et des doutes.<\/p>\n C'est dans ce cadre que nous travaillons. Pas d'oracle. Pas de r\u00e9ponse de r\u00e9f\u00e9rence au moment de l'inf\u00e9rence. Juste une r\u00e9ponse LLM et la m\u00e9tadata qu'elle produit en la g\u00e9n\u00e9rant. Le but : quantifier la probabilit\u00e9 que cette sortie soit hallucin\u00e9e, \u00e0 partir d'une seule passe de g\u00e9n\u00e9ration.<\/p>\n Une id\u00e9e naturelle consiste \u00e0 poser plusieurs fois la m\u00eame question au mod\u00e8le et \u00e0 v\u00e9rifier si les r\u00e9ponses concordent. Si cinq des six ex\u00e9cutions disent \u201c$15,2 milliards\u201d et une \u201c$18,7 milliards\u201d, le consensus vous donne une certaine confiance. C'est le principe qui sous-tend des m\u00e9thodes telles que SelfCheckGPT, qui mesurent la coh\u00e9rence entre plusieurs r\u00e9sultats \u00e9chantillonn\u00e9s - une approche \u201cde type Monte Carlo\u201d de la d\u00e9tection des hallucinations.<\/p>\n Cela fonctionne. Mais il pr\u00e9sente deux inconv\u00e9nients majeurs :<\/p>\n Ces limitations nous ont incit\u00e9s \u00e0 rechercher un signal diff\u00e9rent - un signal bon march\u00e9, \u00e0 prise unique et fonctionnant au niveau des jetons (les morceaux individuels de mots que le LLM manipule en interne).<\/p>\n Lorsqu'un LLM g\u00e9n\u00e8re du texte, il ne se contente pas de produire des tokens. \u00c0 chaque \u00e9tape, il calcule une distribution de probabilit\u00e9 sur l'ensemble de son vocabulaire : \u201cCompte tenu de l'invitation et de tout ce que j'ai g\u00e9n\u00e9r\u00e9 jusqu'\u00e0 pr\u00e9sent, quelle est la probabilit\u00e9 de chacun des prochains jetons possibles ?\u201d<\/em>\u00a0Le jeton gagnant est \u00e9chantillonn\u00e9. Les autres sont rejet\u00e9s. Mais ces probabilit\u00e9s (et plus pr\u00e9cis\u00e9ment leur dispersion) sont porteuses d'informations sur la confiance interne du mod\u00e8le.<\/p>\n Si le mod\u00e8le est tr\u00e8s s\u00fbr, la majeure partie de la masse de probabilit\u00e9 se concentre sur un seul jeton. Si le mod\u00e8le h\u00e9site, la probabilit\u00e9 se r\u00e9partit entre plusieurs candidats. Cette dispersion est exactement ce que mesure l'entropie.<\/p>\n L'entropie est une grandeur de la th\u00e9orie de l'information qui mesure l'incertitude d'une distribution de probabilit\u00e9. L'intuition est simple. Imaginez trois bo\u00eetes. L'une d'elles contient un biscuit. Vous devez deviner laquelle.<\/p>\n Remplacez maintenant les bo\u00eetes par des tokens et le cookie par le \u201cbon\u201d mot suivant. \u00c0 chaque \u00e9tape de la g\u00e9n\u00e9ration, un LLM est confront\u00e9 \u00e0 ce choix exact - sauf qu'au lieu de 3 bo\u00eetes, il choisit parmi un vocabulaire de plus de 100 000 jetons. Lorsque le mod\u00e8le est confiant, un mot domine et l'entropie est faible. Lorsqu'il h\u00e9site, l'entropie augmente.<\/p>\n La distribution de probabilit\u00e9 s'\u00e9tend dans deux cas diff\u00e9rents.<\/em><\/p>\n L'id\u00e9e cl\u00e9 est qu'une entropie \u00e9lev\u00e9e \u00e0 une position donn\u00e9e du jeton est en corr\u00e9lation avec une probabilit\u00e9 d'erreur plus \u00e9lev\u00e9e \u00e0 cette position. Le mod\u00e8le vous dit, par le biais de sa distribution de probabilit\u00e9s, qu'il n'est pas s\u00fbr de ce qui va suivre. Il suffit de l'\u00e9couter.<\/p>\n Notre premi\u00e8re mesure, EPR (Entropy Production Rate), est directe. Pour chaque jeton de la s\u00e9quence g\u00e9n\u00e9r\u00e9e, nous calculons l'entropie des K premi\u00e8res probabilit\u00e9s de jeton pr\u00e9dites par le mod\u00e8le. Nous calculons ensuite la moyenne sur l'ensemble de la s\u00e9quence. Nous obtenons ainsi un chiffre unique refl\u00e9tant l'h\u00e9sitation moyenne du mod\u00e8le sur l'ensemble de la r\u00e9ponse.<\/p>\n Il s'agit d'une mesure non supervis\u00e9e : aucune \u00e9tiquette n'est n\u00e9cessaire. Dans nos exp\u00e9riences (publi\u00e9es \u00e0 ECIR 2026), EPR seul atteint des scores ROC-AUC entre 74 et 81 sur TriviaQA \u00e0 travers quatre LLM diff\u00e9rents. Ce n'est pas mal pour une m\u00e9trique qui ne co\u00fbte pratiquement rien au-del\u00e0 d'une seule passe de g\u00e9n\u00e9ration.<\/p>\n Mais nous pouvons faire mieux.<\/p>\n L'entropie brute traite tous les rangs des jetons de la m\u00eame mani\u00e8re. La contribution \u00e0 l'entropie du jeton class\u00e9 au premier rang (le plus probable) et celle du jeton class\u00e9 au dixi\u00e8me rang sont pond\u00e9r\u00e9es de la m\u00eame mani\u00e8re. Dans la pratique, la mani\u00e8re dont l'incertitude se r\u00e9partit entre les rangs est porteuse d'informations discriminantes.<\/p>\n WEPR (EPR pond\u00e9r\u00e9) apprend un ensemble de poids pour r\u00e9\u00e9quilibrer ces contributions. Il utilise deux signaux :<\/p>\n Ces caract\u00e9ristiques sont introduites dans une r\u00e9gression logistique, entra\u00een\u00e9e sur un ensemble 1TP41 \u00e9tiquet\u00e9. La sortie de la sigmo\u00efde est une probabilit\u00e9 calibr\u00e9e :<\/p>\n \u201cCette r\u00e9ponse a une probabilit\u00e9 de 86% de contenir une hallucination.\u201d<\/p><\/blockquote>\n Au-del\u00e0 de la classification, WEPR produit \u00e9galement des scores au niveau des jetons. Chaque jeton de la s\u00e9quence g\u00e9n\u00e9r\u00e9e re\u00e7oit sa propre probabilit\u00e9 d'hallucination, ce qui vous permet de d\u00e9terminer exactement quelles parties d'une r\u00e9ponse m\u00e9ritent d'\u00eatre examin\u00e9es. Cette probabilit\u00e9 est calcul\u00e9e en temps r\u00e9el, jeton par jeton, au fur et \u00e0 mesure que le mod\u00e8le est g\u00e9n\u00e9r\u00e9 - il n'est pas n\u00e9cessaire d'attendre la sortie compl\u00e8te.<\/p>\n Une m\u00e9thode supervis\u00e9e n\u00e9cessite des annotations. L'\u00e9tiquetage de milliers de paires d'AQ \u00e0 la main est lent. Nous utilisons donc un LLM en tant que juge<\/strong> un mod\u00e8le distinct compare chaque r\u00e9ponse g\u00e9n\u00e9r\u00e9e \u00e0 la v\u00e9rit\u00e9 de terrain connue et la qualifie de correcte ou incorrecte.<\/p>\n Est-ce fiable ? Nous l'avons valid\u00e9 par rapport \u00e0 des annotateurs humains. Un groupe de 15 chercheurs a \u00e9tiquet\u00e9 \u00e0 la main plus de 1 300 paires de r\u00e9ponses. L'accord entre le juge automatis\u00e9 et les \u00e9valuateurs humains a atteint 95,7%, avec un Kappa de Cohen de 0,90. Les \u00e9tiquettes automatis\u00e9es sont une approximation fiable du jugement humain et sont suffisamment robustes pour former un d\u00e9tecteur d'hallucinations.<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-1.png\")
<\/p>\nD\u00e9tecter les hallucinations : c'est plus difficile qu'il n'y para\u00eet<\/h2>\n
L'approche par la force brute<\/h3>\n
\n
Le signal est d\u00e9j\u00e0 l\u00e0<\/h3>\n
Entropie : un petit d\u00e9tour<\/h3>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-2.png\")
<\/p>\n\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-3.png\")
<\/p>\nDe l'entropie aux scores d'hallucination<\/h2>\n
EPR : Taux de production d'entropie<\/h3>\n
WEPR : Taux de production d'entropie pond\u00e9r\u00e9e<\/h3>\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-4.png\")
<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-5.png\")
<\/p>\nQu'en est-il des \u00e9tiquettes ?<\/h3>\n
Pr\u00e9sentation d'artefactual : c'est maintenant \u00e0 vous de jouer.<\/h2>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-6.png\")
<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-7.png\")
<\/p>\n