Por Medha
Cenário (sintético)
Na reunião de status, a pergunta foi direta: "o RAG está pronto para ir para produção?". A resposta do tech lead foi: "funciona bem, testei umas perguntas aqui e as respostas fizeram sentido". Foi para produção. Duas semanas depois, veio o primeiro incidente: uma resposta afirmando um prazo de garantia que não existia em nenhum documento da base, entregue com total confiança a um cliente.
O problema não foi só a resposta errada — foi que não existia, antes do lançamento, nenhum critério objetivo que dissesse "pronto" ou "não pronto". A decisão tinha sido uma impressão, não uma medição. E impressão não escala: o que "parece bom" para quem passou três semanas testando o sistema pode esconder exatamente os casos raros que o usuário real vai encontrar no primeiro dia.
As quatro peças anteriores desta série tratam de fazer o documento certo chegar ao modelo (ingestão, chunking, recuperação). Esta peça trata de uma pergunta diferente: como saber, de forma verificável, que chegou a hora de liberar para produção.
O critério não pode ser "parece bom"
Um critério de aceite de RAG precisa ser verificável por outra pessoa além de quem construiu o sistema, repetível (o mesmo teste, rodado de novo, dá resultado comparável) e definido antes de ver o resultado — não ajustado depois para caber no que saiu.
Isso exige três peças: um conjunto de perguntas de referência (o "golden set", tema da próxima peça desta série), uma régua de avaliação (o que conta como resposta correta, parcial, incorreta ou alucinada) e um piso de aceitação definido antes da rodada, documentado e com um responsável nomeado por aprovar ou não a liberação.
Nenhum número de piso é universal — depende do risco da aplicação (um assistente interno de RH tolera mais erro do que um assistente que responde sobre garantia de produto a cliente final) e nenhuma fonte externa define esse piso por você. O ponto crítico não é qual número escolher, é que o número seja escolhido e escrito antes de rodar o teste, e não depois de ver se o sistema passou ou não.
Uma régua de avaliação por veredito, não por "certo/errado"
Tratar toda resposta como "certo" ou "errado" esconde informação importante. Uma régua mais útil separa pelo menos seis casos:
from dataclasses import dataclass, field
from enum import Enum
class Veredito(str, Enum):
CORRETA = "correta"
PARCIAL = "parcial" # resposta certa, mas incompleta
INCORRETA = "incorreta" # resposta errada, mas baseada em algo do documento
ALUCINADA = "alucinada" # afirma algo sem nenhuma base no documento
RECUSA_CORRETA = "recusa_correta" # corretamente respondeu "não sei" / "não está na base"
RECUSA_INDEVIDA = "recusa_indevida" # a resposta estava na base e o sistema recusou
@dataclass
class CasoAvaliacao:
pergunta: str
resposta_gerada: str
veredito: Veredito
revisor: str
observacao: str = ""
def resumo_por_veredito(casos: list[CasoAvaliacao]) -> dict[str, float]:
"""Calcula a proporção de cada veredito no conjunto avaliado."""
total = len(casos)
if total == 0:
return {}
contagem: dict[str, int] = {}
for caso in casos:
contagem[caso.veredito.value] = contagem.get(caso.veredito.value, 0) + 1
return {veredito: c / total for veredito, c in contagem.items()}
Duas categorias dessa lista costumam ser esquecidas por quem só mede "acurácia": recusa indevida (o sistema tinha a resposta e disse "não sei" — um erro de disponibilidade, não de segurança, mas ainda um erro) e alucinação separada de incorreção comum (uma resposta errada baseada em interpretação equivocada de um trecho real é um problema diferente de uma resposta inventada do zero, e pedem correção diferente: a primeira é problema de chunking/recuperação/prompt, a segunda pode exigir instrução explícita para o modelo recusar quando não houver base suficiente).
O critério de aceite não é só sobre acurácia
Um RAG pronto para produção também precisa de critério para:
- Citação verificável. Toda resposta que afirma um fato deve indicar de onde veio (documento, seção, versão), permitindo checagem — tema já tratado na peça sobre chunking e metadados desta série.
- Comportamento diante do desconhecido. O sistema recusa educadamente quando a base não tem a resposta, em vez de preencher a lacuna com uma afirmação plausível e falsa?
- Latência e custo por consulta, dentro do que o caso de uso tolera (tema da segunda metade desta série).
- Dado sensível. Nenhuma resposta deve expor dado de um cliente para outro, nem informação que não deveria estar acessível ao perfil de quem perguntou (tema da última peça desta série).
Um sistema pode ter ótima acurácia e ainda não estar pronto, se falhar em qualquer um desses outros eixos.
Critério prático de aceite (o processo, não o número)
- Existe um golden set de perguntas — incluindo casos da amostra hostil (peça 01) — antes do lançamento?
- Existe uma régua de veredito documentada, com pelo menos as seis categorias acima, e não apenas "certo/errado"?
- O piso de aceitação por categoria foi definido e documentado antes de rodar a avaliação, com um responsável nomeado pela decisão de liberar?
- Critérios de citação, comportamento diante do desconhecido, custo/latência e dado sensível foram avaliados separadamente da acurácia geral?
Se a resposta para qualquer uma dessas quatro perguntas for "não sabemos" ou "não documentamos", o sistema não tem critério de aceite — tem impressão de quem testou.
Próximo passo
A peça seguinte detalha como montar e manter o golden set citado aqui: de onde tirar as perguntas, como garantir que ele continue representativo depois que o sistema muda, e como evitar que o próprio time "decore a prova" ajustando o sistema só para passar no conjunto de teste.
Para aplicar este critério e os outros da série, fique de olho no Checklist de RAG em Produção, gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.