El problema de la alucinaci\u00f3n<\/h2>\n
Los modelos de lenguaje grandes son asombrosamente capaces. Resumen, traducen, razonan y programan (mejor que yo). Pero a diferencia de m\u00ed, tambi\u00e9n se han hecho notorios por inventar hechos con una confianza inquietante.<\/p>\n
En la literatura del Procesamiento del Lenguaje Natural (PLN), una alucinaci\u00f3n es cualquier contenido generado por un modelo que sea incorrecto en cuanto a los hechos, disparatado o infiel a una fuente proporcionada, aunque parezca perfectamente veros\u00edmil. Las consecuencias van desde benignas (una respuesta err\u00f3nea a un trivial) hasta graves (una cita legal inventada, una dosis incorrecta de un medicamento). A medida que las organizaciones integran los LLM en los sistemas de producci\u00f3n, la cuesti\u00f3n pasa de \u201c\u00bfPuede este modelo generar un texto \u00fatil?\u201d<\/em> a \u201c\u00bfpodemos fiarnos de lo que acaba de decir?\u201d<\/em><\/p>\n Considere un ejemplo concreto. Usted trabaja en una instituci\u00f3n financiera y pregunta a su LLM local:<\/p>\n \u201c\u00bfCu\u00e1les fueron los ingresos netos de Emerson Electric en 2023?\u201d<\/p><\/blockquote>\n La modelo responde: \u201cEmerson Electric inform\u00f3 de unos ingresos netos de aproximadamente $15.200 millones para el a\u00f1o fiscal 2023\u201d.\u201d<\/em> Suena razonable. \u00bfPero es correcto? No tiene el informe anual abierto. No tiene una verdad de base con la que comparar. S\u00f3lo tiene el resultado del modelo... y la duda.<\/p>\n Este es el escenario en el que trabajamos. Sin or\u00e1culo. Ninguna respuesta de referencia en el momento de la inferencia. S\u00f3lo una respuesta LLM y el metadata que produce al generarla. El objetivo: cuantificar la probabilidad de que esta salida sea alucinada, a partir de un \u00fanico pase de generaci\u00f3n.<\/p>\n Una idea natural es hacer la misma pregunta al modelo varias veces y comprobar si las respuestas coinciden. Si cinco de seis ejecuciones dicen \u201c$15.200 millones\u201d y una dice \u201c$18.700 millones\u201d, el consenso le da cierta confianza. Este es el principio en el que se basan m\u00e9todos como SelfCheckGPT, que miden la coherencia entre varias salidas muestreadas: un enfoque \u201cestilo Montecarlo\u201d para la detecci\u00f3n de alucinaciones.<\/p>\n Funciona. Pero tiene dos inconvenientes importantes:<\/p>\n Estas limitaciones nos motivaron a buscar una se\u00f1al diferente, que fuera barata, de un solo disparo y que funcionara a nivel de token (los fragmentos individuales de palabras que el LLM manipula internamente).<\/p>\n Cuando un LLM genera texto, no se limita a emitir tokens. En cada paso, calcula una distribuci\u00f3n de probabilidad sobre todo su vocabulario: \u201cTeniendo en cuenta la indicaci\u00f3n y todo lo que he generado hasta ahora, \u00bfcu\u00e1l es la probabilidad de cada posible ficha siguiente?\u201d<\/em>\u00a0La ficha ganadora se muestrea. El resto se descartan. Pero esas probabilidades (y m\u00e1s concretamente, lo repartidas que est\u00e1n) llevan informaci\u00f3n sobre la confianza interna del modelo.<\/p>\n Si el modelo est\u00e1 muy seguro, la mayor parte de la masa de probabilidad se concentra en una sola ficha. Si el modelo duda, la probabilidad se reparte entre muchos candidatos. Esta dispersi\u00f3n es exactamente lo que mide la entrop\u00eda.<\/p>\n La entrop\u00eda es una magnitud te\u00f3rica de la informaci\u00f3n que mide la incertidumbre de una distribuci\u00f3n de probabilidad. La intuici\u00f3n es sencilla. Imagine tres cajas. Una contiene una galleta. Tiene que adivinar cu\u00e1l.<\/p>\n Ahora sustituya las casillas por tokens y la galleta por la palabra siguiente \u201ccorrecta\u201d. En cada paso de generaci\u00f3n, un LLM se enfrenta a esta elecci\u00f3n exacta - excepto que en lugar de 3 casillas, elige entre un vocabulario de m\u00e1s de 100.000 tokens. Cuando el modelo est\u00e1 seguro, un token domina y la entrop\u00eda es baja. Cuando duda, la entrop\u00eda aumenta.<\/p>\n La distribuci\u00f3n de probabilidad se extiende en dos casos diferentes.<\/em><\/p>\n La idea clave es que una entrop\u00eda elevada en una posici\u00f3n dada de la ficha se correlaciona con una mayor probabilidad de error en esa posici\u00f3n. El modelo nos est\u00e1 diciendo, a trav\u00e9s de su distribuci\u00f3n de probabilidades, que no est\u00e1 seguro de lo que viene a continuaci\u00f3n. S\u00f3lo tenemos que escuchar.<\/p>\n Nuestra primera m\u00e9trica, la EPR (tasa de producci\u00f3n de entrop\u00eda), es directa. Para cada token de la secuencia generada, calculamos la entrop\u00eda de las K probabilidades de token predichas m\u00e1s altas del modelo. A continuaci\u00f3n, hacemos la media de toda la secuencia. Esto da un \u00fanico n\u00famero que refleja la vacilaci\u00f3n media del modelo sobre la respuesta completa.<\/p>\n Se trata de una m\u00e9trica no supervisada: no requiere etiquetas. En nuestros experimentos (publicados en ECIR 2026), la EPR por s\u00ed sola alcanza puntuaciones ROC-AUC de entre 74 y 81 en TriviaQA a trav\u00e9s de cuatro LLM diferentes. No est\u00e1 mal para una m\u00e9trica que no cuesta esencialmente nada m\u00e1s all\u00e1 de un \u00fanico pase de generaci\u00f3n.<\/p>\n Pero podemos hacerlo mejor.<\/p>\n La entrop\u00eda bruta trata todos los rangos de tokens por igual. La contribuci\u00f3n a la entrop\u00eda del token clasificado en primer lugar (el m\u00e1s probable) y del token clasificado en d\u00e9cimo lugar se ponderan igual. En la pr\u00e1ctica, la forma en que la incertidumbre se distribuye entre los rangos conlleva informaci\u00f3n discriminatoria.<\/p>\n La WEPR (EPR ponderada) aprende un conjunto de ponderaciones para reequilibrar estas contribuciones. Utiliza dos se\u00f1ales:<\/p>\n Estas caracter\u00edsticas se introducen en una regresi\u00f3n log\u00edstica, entrenada en un conjunto data etiquetado. La salida de la sigmoide es una probabilidad calibrada:<\/p>\n \u201cEsta respuesta tiene una probabilidad 86% de contener una alucinaci\u00f3n\u201d.\u201d<\/p><\/blockquote>\n M\u00e1s all\u00e1 de la clasificaci\u00f3n, WEPR tambi\u00e9n produce puntuaciones a nivel de token. Cada token de la secuencia generada recibe su propia probabilidad de alucinaci\u00f3n, lo que le permite se\u00f1alar exactamente qu\u00e9 partes de una respuesta merecen ser examinadas. Esto se computa en tiempo real, token por token, a medida que el modelo genera - sin necesidad de esperar a la salida completa.<\/p>\n Un m\u00e9todo supervisado requiere anotaciones. Etiquetar a mano miles de pares de GC es lento. As\u00ed que utilizamos un LLM como juez<\/strong> enfoque: un modelo independiente compara cada respuesta generada con la verdad del terreno conocida y la etiqueta como correcta o incorrecta.<\/p>\n \u00bfEs fiable? Lo validamos con anotadores humanos. Un grupo de 15 investigadores etiquet\u00f3 a mano m\u00e1s de 1.300 pares de respuestas. El acuerdo entre el juez automatizado y los evaluadores humanos alcanz\u00f3 el 95,7%, con un Kappa de Cohen de 0,90. Las etiquetas automatizadas son un sustituto fiable del juicio humano y son lo suficientemente s\u00f3lidas como para entrenar un detector de alucinaciones con ellas.<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-1.png\")
<\/p>\nDetectar alucinaciones: es m\u00e1s dif\u00edcil de lo que parece<\/h2>\n
El enfoque de fuerza bruta<\/h3>\n
\n
La se\u00f1al ya est\u00e1 ah\u00ed<\/h3>\n
Entrop\u00eda: un desv\u00edo r\u00e1pido<\/h3>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-2.png\")
<\/p>\n\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-3.png\")
<\/p>\nDe la entrop\u00eda a las puntuaciones de alucinaci\u00f3n<\/h2>\n
EPR: Tasa de producci\u00f3n de entrop\u00eda<\/h3>\n
WEPR: Tasa de producci\u00f3n de entrop\u00eda ponderada<\/h3>\n
\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-4.png\")
<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-5.png\")
<\/p>\n\u00bfY las etiquetas?<\/h3>\n
Presentamos artefactual: ahora le toca jugar a usted.<\/h2>\n
![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-6.png\")
<\/p>\n![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/05\/Detecting-Hallucinations-in-LLMs-One-Token-at-a-Time-Image-7.png\")
<\/p>\n