Pular para o conteúdo
Engenharia com agentes de IA: governança e custo em reais.

IA em produção · 6 de novembro de 2026

Avaliar sistema não determinístico: como testar algo que muda a cada execução

Por Medha

Cenário (sintético)

Um pipeline de teste automatizado rodava o golden set a cada mudança de código, comparando a resposta gerada com um texto esperado, palavra por palavra. Em uma das execuções, o mesmo caso — mesma pergunta, mesmo documento, nenhuma mudança no sistema — passou na segunda-feira e falhou na terça. A resposta de terça-feira dizia exatamente a mesma coisa que a de segunda, só que com outra ordem de frase e um sinônimo diferente ("pode ser reembolsado" em vez de "é reembolsável").

O time quase abriu um incidente achando que alguém tinha quebrado o sistema de madrugada. Na verdade, o teste é que estava com a ferramenta errada: comparação de texto exato não é um critério válido para avaliar um sistema que, por natureza, pode gerar frases diferentes para o mesmo significado.

Por que a mesma pergunta gera respostas diferentes

Modelos de linguagem geram texto por amostragem: mesmo com a mesma entrada, a escolha de cada próxima palavra tem um componente probabilístico. Reduzir a "temperatura" do modelo para zero diminui a variação, mas não elimina completamente a possibilidade de diferença entre execuções, dependendo do provedor e de como as requisições são processadas em lote. Em outras palavras: variação faz parte do comportamento esperado, não é sinal automático de bug.

Isso significa que qualquer teste que compare a saída do modelo com uma string fixa, exigindo igualdade exata, vai gerar falso positivo de falha com uma frequência que não tem relação com a qualidade real do sistema.

O que testar em vez de igualdade de texto

Duas mudanças resolvem a maior parte do problema:

1. Verificar fatos obrigatórios, não o texto inteiro. Em vez de perguntar "a resposta é exatamente esta string?", perguntar "a resposta contém as informações mínimas que ela precisa conter?". Isso separa forma (como a frase foi construída) de conteúdo (o que ela afirma).

def contem_fatos_obrigatorios(resposta: str, fatos_obrigatorios: list[str]) -> bool:
    """Verifica se a resposta contém os fatos mínimos esperados, em vez
    de exigir correspondência exata de texto — uma resposta pode estar
    certa com palavras diferentes da resposta de referência."""
    resposta_normalizada = resposta.lower()
    return all(fato.lower() in resposta_normalizada for fato in fatos_obrigatorios)

Um detalhe decide se esse critério funciona ou reproduz o mesmo problema com outra roupagem: fato obrigatório precisa ser uma âncora estável — o dado que não muda de redação, como um valor ("R$ 400"), um prazo ("5 dias") ou o nome de um documento ("Política de Reembolso") — nunca uma frase inteira. Uma lista como ["400", "5 dias", "pré-aprovação"] funciona bem com correspondência de substring; uma lista como ["é reembolsável"] reproduz o falso positivo do cenário desta peça, porque "pode ser reembolsado" não contém a substring "é reembolsável", mesmo afirmando exatamente a mesma coisa.

2. Rodar cada caso várias vezes antes de tirar conclusão. Uma única execução não representa o comportamento do sistema — representa uma amostra de tamanho um de uma distribuição. Rodar o mesmo caso N vezes (3 a 5, por exemplo) revela se o sistema é estável (acerta ou erra sempre) ou instável (acerta às vezes, erra às vezes para a mesma entrada).

def rodar_repeticoes(gerar_resposta, pergunta: str, n: int = 5) -> list[str]:
    """Executa a mesma pergunta N vezes e coleta as respostas geradas,
    para medir estabilidade em vez de assumir uma única execução como
    representativa do comportamento do sistema."""
    return [gerar_resposta(pergunta) for _ in range(n)]

def taxa_de_estabilidade(respostas: list[str], fatos_obrigatorios: list[str]) -> float:
    """Proporção das repetições que contêm os fatos obrigatórios.
    Uma taxa de 100% indica que as âncoras esperadas apareceram em
    todas as repetições — estabilidade, não correção: a resposta
    ainda pode conter afirmação sem base ao lado dos fatos certos
    (ver a peça sobre alucinação desta série). Uma taxa intermediária
    (por exemplo, 60%) indica instabilidade; 0% em todas as
    repetições indica erro sistemático."""
    acertos = sum(contem_fatos_obrigatorios(r, fatos_obrigatorios) for r in respostas)
    return acertos / len(respostas) if respostas else 0.0

Essa distinção importa para a correção: um erro sistemático (0% de acerto nas repetições) geralmente indica problema de retrieval ou de documento ausente — o sistema nunca tem a informação certa disponível. Uma instabilidade (por exemplo, 60% de acerto) geralmente indica problema de prompt ou de ambiguidade na formulação da pergunta — o sistema às vezes usa bem a informação disponível, às vezes não.

LLM como juiz: útil para escalar, arriscado sem auditoria

Quando o golden set cresce para centenas de casos, revisar cada resposta manualmente fica caro. Uma prática comum é usar um segundo modelo de linguagem como "juiz", aplicando a régua de veredito (peça anterior desta série) automaticamente. Isso escala bem, mas carrega dois riscos que precisam de mitigação: o modelo-juiz também é não determinístico (o mesmo julgamento pode variar entre execuções) e pode ter viés sistemático próprio (por exemplo, preferir respostas mais longas, independente de estarem mais corretas).

A mitigação não é abandonar o LLM-juiz, é auditá-lo: reservar uma amostra dos vereditos automáticos para revisão humana periódica, e comparar a taxa de concordância entre o juiz automático e o revisor humano. Se a concordância cair, é sinal de recalibrar o prompt do juiz ou de reduzir a confiança automática naquele lote de avaliação.

Critério prático de aceite para avaliação não determinística

  1. Nenhum teste automatizado do golden set usa igualdade exata de texto como critério de aprovação.
  2. Casos críticos do golden set são executados mais de uma vez antes de qualquer decisão de aprovação ou reprovação.
  3. Erro sistemático (falha em todas as repetições) e instabilidade (falha em parte das repetições) são registrados e tratados como problemas diferentes.
  4. Se há uso de LLM-juiz, existe amostra de auditoria humana periódica com taxa de concordância registrada.

Próximo passo

A próxima peça desta série aprofunda um caso específico de erro sistemático: a alucinação — quando o sistema afirma algo sem base em nenhum documento — e como detectar e reduzir esse comportamento especificamente.

Para aplicar este critério e os outros da série, fique de olho no Checklist de RAG em Produção, gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.

Checklist de RAG em Produção

Os critérios da série IA em produção reunidos num checklist para levar um RAG da prova de conceito à produção.

Só enviamos o material e avisos sobre ele. Privacidade

Avaliar sistema não determinístico: como testar algo que muda a cada execução · Medha