Por Medha
Cenário (sintético)
Um cliente perguntou ao assistente de uma empresa fictícia: "como funciona o programa de fidelidade de vocês?". A empresa nunca teve programa de fidelidade. O assistente respondeu, com todo o tom de quem sabe do que está falando, descrevendo uma estrutura de pontos por real gasto e troca por desconto — nada disso existia em nenhum documento da base, em nenhum lugar.
Não havia chunk parecido, não havia seção próxima, não havia base nenhuma. O modelo simplesmente preencheu uma lacuna plausível com uma resposta que soava como as respostas corretas ao redor dela. Isso é alucinação no sentido mais estrito: afirmação sem nenhum vínculo com a fonte, mas apresentada com a mesma confiança de uma afirmação correta.
Alucinação é diferente de resposta incorreta
Vale reforçar a distinção feita na peça sobre critérios de aceite desta série: uma resposta incorreta ainda tem algum vínculo com o documento (interpretou errado, misturou dois trechos, aplicou a regra ao caso errado). Uma resposta alucinada não tem vínculo nenhum — o conteúdo foi inventado. A distinção importa porque a correção é diferente: resposta incorreta costuma se resolver melhorando retrieval, chunking ou prompt; alucinação pura costuma exigir uma instrução explícita de recusa e um mecanismo de checagem depois da geração, porque o modelo, por padrão, tende a completar a frase de forma fluente mesmo sem ter a informação.
Reduzir na origem: instrução explícita de recusa
A primeira linha de defesa é o prompt do sistema deixar claro, sem ambiguidade, que o modelo deve responder apenas com base no contexto fornecido e dizer explicitamente que não tem a informação quando o contexto não cobre a pergunta — em vez de tentar ser útil a qualquer custo. Isso não elimina alucinação sozinho, mas reduz a frequência: um modelo instruído a recusar quando não sabe ainda pode falhar, mas falha menos do que um modelo instruído apenas a "responder com base nos documentos abaixo", sem reforço explícito sobre o que fazer na ausência de informação.
Detectar depois da geração: checagem de suporte por afirmação
Instrução no prompt reduz, não garante. A segunda linha de defesa é verificar, depois que a resposta foi gerada, se cada afirmação dela tem lastro em algum chunk que foi realmente recuperado. Uma forma simples — grosseira, mas útil como primeiro filtro — é dividir a resposta em frases e checar sobreposição de palavras de conteúdo entre cada frase e os chunks fonte:
import re
def dividir_em_afirmacoes(resposta: str) -> list[str]:
"""Divide a resposta em frases, tratadas como unidades de afirmação
a serem checadas individualmente contra as fontes."""
return [f.strip() for f in re.split(r"(?<=[.!?])\s+", resposta) if f.strip()]
def afirmacao_tem_suporte(afirmacao: str, chunks_fonte: list[str], limiar_palavras: int = 3) -> bool:
"""Heurística simples: considera que a afirmação tem base se pelo
menos `limiar_palavras` palavras de conteúdo (4+ letras) dela
aparecem em algum chunk fonte. É um filtro grosseiro — pega
alucinação óbvia (afirmação sem nenhuma palavra em comum com a
fonte), não substitui um verificador semântico mais sofisticado."""
palavras_afirmacao = {p.lower() for p in re.findall(r"\w{4,}", afirmacao)}
for chunk in chunks_fonte:
palavras_chunk = {p.lower() for p in re.findall(r"\w{4,}", chunk)}
if len(palavras_afirmacao & palavras_chunk) >= limiar_palavras:
return True
return False
def afirmacoes_sem_suporte(resposta: str, chunks_fonte: list[str]) -> list[str]:
"""Retorna as afirmações da resposta sem suporte lexical mínimo em
nenhum chunk fonte — candidatas a alucinação, para revisão manual
ou para bloquear a resposta antes de entregá-la ao usuário."""
return [a for a in dividir_em_afirmacoes(resposta) if not afirmacao_tem_suporte(a, chunks_fonte)]
Essa heurística de sobreposição de palavras não substitui um verificador semântico mais robusto (por exemplo, um segundo modelo perguntado explicitamente "esta afirmação está sustentada por este trecho?"), mas já pega o caso mais grosseiro e mais perigoso: uma afirmação que não compartilha nenhum termo de conteúdo relevante com nada que foi recuperado — como a descrição completa de um programa de fidelidade que nunca existiu em documento nenhum.
Citação não pode ser texto livre — precisa ser verificável
Uma resposta que diz "de acordo com nossos termos" sem apontar qual documento, seção ou chunk específico não é uma citação verificável — é uma citação de aparência. O critério mais forte é exigir que o modelo cite o identificador do chunk (algo que já existe no sistema, gerado na etapa de ingestão) e validar programaticamente que aquele identificador está de fato entre os chunks que foram recuperados naquela consulta — não um identificador inventado, o que também é uma forma de alucinação.
def citacoes_invalidas(ids_citados: list[str], ids_chunks_recuperados: list[str]) -> list[str]:
"""Retorna os identificadores citados pelo modelo que não
correspondem a nenhum chunk realmente recuperado na consulta —
uma citação inventada é tão grave quanto um fato inventado."""
validos = set(ids_chunks_recuperados)
return [cid for cid in ids_citados if cid not in validos]
Critério prático de aceite para alucinação e citação
- O prompt do sistema instrui explicitamente a recusar quando o contexto não cobre a pergunta, em vez de apenas pedir para "responder com base nos documentos"?
- Existe checagem automática de suporte por afirmação depois da geração, sinalizando frases sem lastro em nenhum chunk recuperado?
- Toda citação é validada contra o conjunto de chunks realmente recuperados naquela consulta, não aceita como texto livre?
- A taxa de alucinação (categoria "alucinada" da régua de veredito, peça 05 desta série) é acompanhada ao longo do tempo, não medida uma vez só antes do lançamento?
Próximo passo
A segunda metade desta série muda de eixo: da qualidade da resposta para o custo de gerar cada resposta. A próxima peça trata de como medir e explicar a conta de tokens por consulta.
Para aplicar este critério e os outros da série, fique de olho no Checklist de RAG em Produção, gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.