{"id":1190337,"date":"2026-05-11T17:17:41","date_gmt":"2026-05-11T16:17:41","guid":{"rendered":"https:\/\/www.artefact.com\/?post_type=blog&p=1190337"},"modified":"2026-05-11T17:32:03","modified_gmt":"2026-05-11T16:32:03","slug":"detecting-hallucinations-in-llms-one-token-at-a-time","status":"publish","type":"blog","link":"https:\/\/www.artefact.com\/br\/blog\/detecting-hallucinations-in-llms-one-token-at-a-time\/","title":{"rendered":"Detectando Alucina\u00e7\u00f5es em LLMs, Um Token de Cada Vez"},"content":{"rendered":"

Como a pontua\u00e7\u00e3o baseada em entropia pode dizer ao senhor quando o seu modelo est\u00e1 inventando coisas - e onde - embrulhado no artefactual, nosso pacote Python.<\/p>\n

Observa\u00e7\u00e3o: Este artigo \u00e9 uma continua\u00e7\u00e3o do artigo O artigo de nossos amigos da Ardian<\/a>, detalhando como a IA respons\u00e1vel \u00e9 crucial para as institui\u00e7\u00f5es financeiras. N\u00e3o deixe de conferir!<\/p>\n

O problema da alucina\u00e7\u00e3o<\/h2>\n

Os modelos de linguagem grandes s\u00e3o surpreendentemente capazes. Eles resumem, traduzem, raciocinam e codificam (melhor do que eu). Mas, ao contr\u00e1rio de mim, eles tamb\u00e9m se tornaram famosos por inventar fatos com uma confian\u00e7a assustadora.<\/p>\n

Na literatura de Processamento de Linguagem Natural (PLN), uma alucina\u00e7\u00e3o \u00e9 qualquer conte\u00fado gerado por modelo que seja factualmente incorreto, sem sentido ou infiel a uma fonte fornecida, embora pare\u00e7a perfeitamente plaus\u00edvel. As consequ\u00eancias variam de benignas (uma resposta errada a uma pergunta trivial) a graves (uma cita\u00e7\u00e3o legal fabricada, uma dosagem incorreta de medicamento). \u00c0 medida que as organiza\u00e7\u00f5es integram os LLMs aos sistemas de produ\u00e7\u00e3o, a quest\u00e3o muda de \u201cEsse modelo pode gerar um texto \u00fatil?\u201d<\/em> para \u201cPodemos confiar no que ele acabou de dizer?\u201d<\/em><\/p>\n

Considere um exemplo concreto. O senhor trabalha em uma institui\u00e7\u00e3o financeira e pergunta ao seu LLM local:<\/p>\n

\u201cQual foi a receita l\u00edquida da Emerson Electric em 2023?\u201d<\/p><\/blockquote>\n

\"\"<\/p>\n

A modelo responde: \u201cA Emerson Electric informou uma receita l\u00edquida de aproximadamente $15,2 bilh\u00f5es para o ano fiscal de 2023.\u201d<\/em> Parece razo\u00e1vel. Mas ser\u00e1 que est\u00e1 certo? O senhor n\u00e3o tem o relat\u00f3rio anual aberto. O senhor n\u00e3o tem uma verdade b\u00e1sica para comparar. O senhor s\u00f3 tem o resultado do modelo - e a d\u00favida.<\/p>\n

Esse \u00e9 o cen\u00e1rio em que trabalhamos. Sem or\u00e1culo. Nenhuma resposta de refer\u00eancia no momento da infer\u00eancia. Apenas uma resposta LLM e o metadata que ela produz ao ger\u00e1-la. O objetivo: quantificar a probabilidade de essa sa\u00edda ser alucinada, a partir de uma \u00fanica passagem de gera\u00e7\u00e3o.<\/p>\n

Detectar alucina\u00e7\u00f5es: \u00e9 mais dif\u00edcil do que parece<\/h2>\n

A abordagem de for\u00e7a bruta<\/h3>\n

Uma ideia natural \u00e9 fazer a mesma pergunta ao modelo v\u00e1rias vezes e verificar se as respostas est\u00e3o de acordo. Se cinco das seis execu\u00e7\u00f5es disserem \u201c$15,2 bilh\u00f5es\u201d e uma disser \u201c$18,7 bilh\u00f5es\u201d, o consenso lhe dar\u00e1 alguma confian\u00e7a. Esse \u00e9 o princ\u00edpio por tr\u00e1s de m\u00e9todos como o SelfCheckGPT, que mede a consist\u00eancia em v\u00e1rios resultados amostrados - uma abordagem \u201cestilo Monte Carlo\u201d para a detec\u00e7\u00e3o de alucina\u00e7\u00f5es.<\/p>\n

Funciona. Mas tem duas desvantagens significativas:<\/p>\n

    \n
  1. Custo.<\/strong> Cada gera\u00e7\u00e3o adicional multiplica seu or\u00e7amento de infer\u00eancia. Para o SelfCheckGPT com 10 amostras, o senhor paga cerca de 10 vezes a computa\u00e7\u00e3o, mais o custo de um modelo de similaridade sem\u00e2ntica. Em escala, isso \u00e9 proibitivo.<\/li>\n
  2. Granularidade.<\/strong> Os m\u00e9todos multi-shot operam no n\u00edvel da sequ\u00eancia. Eles dizem ao senhor \u201cessa resposta parece n\u00e3o ser confi\u00e1vel\u201d, mas n\u00e3o qual parte da resposta \u00e9 problem\u00e1tica. Uma resposta pode ser 90% precisa com uma \u00fanica figura alucinada enterrada no meio. O senhor gostaria de saber onde.<\/li>\n<\/ol>\n

    Essas limita\u00e7\u00f5es nos motivaram a procurar um sinal diferente, barato, de disparo \u00fanico e que funcionasse no n\u00edvel do token (as partes individuais das palavras que o LLM manipula internamente).<\/p>\n

    O sinal j\u00e1 est\u00e1 l\u00e1<\/h3>\n

    Quando um LLM gera texto, ele n\u00e3o produz apenas tokens. Em cada etapa, ele calcula uma distribui\u00e7\u00e3o de probabilidade em todo o seu vocabul\u00e1rio: \u201cConsiderando o prompt e tudo o que gerei at\u00e9 agora, qual \u00e9 a probabilidade de cada um dos poss\u00edveis pr\u00f3ximos tokens?\u201d<\/em>\u00a0O token vencedor \u00e9 amostrado. As demais s\u00e3o descartadas. Mas essas probabilidades (e, mais especificamente, o quanto elas est\u00e3o espalhadas) cont\u00eam informa\u00e7\u00f5es sobre a confian\u00e7a interna do modelo.<\/p>\n

    Se o modelo estiver muito seguro, a maior parte da massa de probabilidade se concentra em um \u00fanico token. Se o modelo hesitar, a probabilidade se espalha por muitos candidatos. Essa distribui\u00e7\u00e3o \u00e9 exatamente o que a entropia mede.<\/p>\n

    Entropia: um r\u00e1pido desvio<\/h3>\n

    A entropia \u00e9 uma quantidade da teoria da informa\u00e7\u00e3o que mede a incerteza de uma distribui\u00e7\u00e3o de probabilidade. A intui\u00e7\u00e3o \u00e9 simples. Imagine tr\u00eas caixas. Uma delas cont\u00e9m um biscoito. O senhor precisa adivinhar qual delas \u00e9.<\/p>\n

    \"\"<\/p>\n