Pular para o conteúdo
Engenharia com agentes de IA: governança e custo em reais.

IA em produção · 11 de novembro de 2026

Alucinação e citação de fonte: como detectar e reduzir resposta sem base

Por Medha

Cenário (sintético)

Um cliente perguntou ao assistente de uma empresa fictícia: "como funciona o programa de fidelidade de vocês?". A empresa nunca teve programa de fidelidade. O assistente respondeu, com todo o tom de quem sabe do que está falando, descrevendo uma estrutura de pontos por real gasto e troca por desconto — nada disso existia em nenhum documento da base, em nenhum lugar.

Não havia chunk parecido, não havia seção próxima, não havia base nenhuma. O modelo simplesmente preencheu uma lacuna plausível com uma resposta que soava como as respostas corretas ao redor dela. Isso é alucinação no sentido mais estrito: afirmação sem nenhum vínculo com a fonte, mas apresentada com a mesma confiança de uma afirmação correta.

Alucinação é diferente de resposta incorreta

Vale reforçar a distinção feita na peça sobre critérios de aceite desta série: uma resposta incorreta ainda tem algum vínculo com o documento (interpretou errado, misturou dois trechos, aplicou a regra ao caso errado). Uma resposta alucinada não tem vínculo nenhum — o conteúdo foi inventado. A distinção importa porque a correção é diferente: resposta incorreta costuma se resolver melhorando retrieval, chunking ou prompt; alucinação pura costuma exigir uma instrução explícita de recusa e um mecanismo de checagem depois da geração, porque o modelo, por padrão, tende a completar a frase de forma fluente mesmo sem ter a informação.

Reduzir na origem: instrução explícita de recusa

A primeira linha de defesa é o prompt do sistema deixar claro, sem ambiguidade, que o modelo deve responder apenas com base no contexto fornecido e dizer explicitamente que não tem a informação quando o contexto não cobre a pergunta — em vez de tentar ser útil a qualquer custo. Isso não elimina alucinação sozinho, mas reduz a frequência: um modelo instruído a recusar quando não sabe ainda pode falhar, mas falha menos do que um modelo instruído apenas a "responder com base nos documentos abaixo", sem reforço explícito sobre o que fazer na ausência de informação.

Detectar depois da geração: checagem de suporte por afirmação

Instrução no prompt reduz, não garante. A segunda linha de defesa é verificar, depois que a resposta foi gerada, se cada afirmação dela tem lastro em algum chunk que foi realmente recuperado. Uma forma simples — grosseira, mas útil como primeiro filtro — é dividir a resposta em frases e checar sobreposição de palavras de conteúdo entre cada frase e os chunks fonte:

import re

def dividir_em_afirmacoes(resposta: str) -> list[str]:
    """Divide a resposta em frases, tratadas como unidades de afirmação
    a serem checadas individualmente contra as fontes."""
    return [f.strip() for f in re.split(r"(?<=[.!?])\s+", resposta) if f.strip()]

def afirmacao_tem_suporte(afirmacao: str, chunks_fonte: list[str], limiar_palavras: int = 3) -> bool:
    """Heurística simples: considera que a afirmação tem base se pelo
    menos `limiar_palavras` palavras de conteúdo (4+ letras) dela
    aparecem em algum chunk fonte. É um filtro grosseiro — pega
    alucinação óbvia (afirmação sem nenhuma palavra em comum com a
    fonte), não substitui um verificador semântico mais sofisticado."""
    palavras_afirmacao = {p.lower() for p in re.findall(r"\w{4,}", afirmacao)}
    for chunk in chunks_fonte:
        palavras_chunk = {p.lower() for p in re.findall(r"\w{4,}", chunk)}
        if len(palavras_afirmacao & palavras_chunk) >= limiar_palavras:
            return True
    return False

def afirmacoes_sem_suporte(resposta: str, chunks_fonte: list[str]) -> list[str]:
    """Retorna as afirmações da resposta sem suporte lexical mínimo em
    nenhum chunk fonte — candidatas a alucinação, para revisão manual
    ou para bloquear a resposta antes de entregá-la ao usuário."""
    return [a for a in dividir_em_afirmacoes(resposta) if not afirmacao_tem_suporte(a, chunks_fonte)]

Essa heurística de sobreposição de palavras não substitui um verificador semântico mais robusto (por exemplo, um segundo modelo perguntado explicitamente "esta afirmação está sustentada por este trecho?"), mas já pega o caso mais grosseiro e mais perigoso: uma afirmação que não compartilha nenhum termo de conteúdo relevante com nada que foi recuperado — como a descrição completa de um programa de fidelidade que nunca existiu em documento nenhum.

Citação não pode ser texto livre — precisa ser verificável

Uma resposta que diz "de acordo com nossos termos" sem apontar qual documento, seção ou chunk específico não é uma citação verificável — é uma citação de aparência. O critério mais forte é exigir que o modelo cite o identificador do chunk (algo que já existe no sistema, gerado na etapa de ingestão) e validar programaticamente que aquele identificador está de fato entre os chunks que foram recuperados naquela consulta — não um identificador inventado, o que também é uma forma de alucinação.

def citacoes_invalidas(ids_citados: list[str], ids_chunks_recuperados: list[str]) -> list[str]:
    """Retorna os identificadores citados pelo modelo que não
    correspondem a nenhum chunk realmente recuperado na consulta —
    uma citação inventada é tão grave quanto um fato inventado."""
    validos = set(ids_chunks_recuperados)
    return [cid for cid in ids_citados if cid not in validos]

Critério prático de aceite para alucinação e citação

  1. O prompt do sistema instrui explicitamente a recusar quando o contexto não cobre a pergunta, em vez de apenas pedir para "responder com base nos documentos"?
  2. Existe checagem automática de suporte por afirmação depois da geração, sinalizando frases sem lastro em nenhum chunk recuperado?
  3. Toda citação é validada contra o conjunto de chunks realmente recuperados naquela consulta, não aceita como texto livre?
  4. A taxa de alucinação (categoria "alucinada" da régua de veredito, peça 05 desta série) é acompanhada ao longo do tempo, não medida uma vez só antes do lançamento?

Próximo passo

A segunda metade desta série muda de eixo: da qualidade da resposta para o custo de gerar cada resposta. A próxima peça trata de como medir e explicar a conta de tokens por consulta.

Para aplicar este critério e os outros da série, fique de olho no Checklist de RAG em Produção, gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.

Checklist de RAG em Produção

Os critérios da série IA em produção reunidos num checklist para levar um RAG da prova de conceito à produção.

Só enviamos o material e avisos sobre ele. Privacidade