Por Medha
Cenário (sintético)
Um time de engenharia apresentou, numa sexta-feira, uma demo de RAG (retrieval-augmented generation) para o jurídico da empresa. A base de teste tinha 20 contratos-modelo, gerados em Word e exportados em PDF nativo, todos com a mesma estrutura de cláusulas. O sistema respondia bem, citava o contrato certo, e ninguém achou nada estranho.
Três semanas depois, o mesmo RAG foi ligado na base real: milhares de documentos acumulados ao longo de anos, entre contratos escaneados, aditivos anexados em PDF, planilhas de valores coladas como imagem dentro do PDF e um punhado de arquivos sem nenhuma camada de texto selecionável. A taxa de resposta errada disparou, e ninguém sabia dizer exatamente por quê — porque ninguém tinha testado o sistema contra nada parecido com aquilo antes de ligar.
Esse padrão é recorrente: sempre que a base de teste é curada e a base real não é, a diferença aparece no primeiro dia de produção. Não é falha de modelo. É falha de teste.
Por que a demo funciona: o dataset está com viés de curadoria
O dataset de demo quase sempre tem cinco características que não existem na base real:
- Texto limpo. Documentos gerados digitalmente (Word, HTML, Markdown) têm texto extraído sem ruído. Documentos digitalizados dependem de OCR, que erra em tabela, assinatura, carimbo e papel timbrado.
- Formato homogêneo. Vinte contratos do mesmo modelo têm a mesma estrutura de seção. A base real mistura contrato antigo, contrato novo, aditivo, anexo e e-mail que virou PDF.
- Tamanho pequeno e previsível. Cabe inteiro no contexto sem problema de chunking. Documentos reais variam de uma página a algumas centenas.
- Sem duplicata quase-idêntica. Na base real é comum ter três versões do "mesmo" contrato com uma cláusula diferente — e o sistema de recuperação não sabe qual é a vigente.
- Metadado implícito e correto. Na demo, todo mundo sabe que aquele PDF é o contrato X, versão 2024. Na base real, data, autor e versão muitas vezes não estão em lugar nenhum, ou estão errados.
Nenhuma dessas cinco diferenças aparece em uma demo com 20 documentos escolhidos a dedo. Todas aparecem no primeiro dia de produção.
O critério prático: teste contra amostra hostil, não contra a base bonita
O critério de aceite que evita essa surpresa é simples de enunciar e trabalhoso de aplicar: antes de aprovar um RAG para produção, rode a mesma pipeline de ingestão, recuperação e resposta contra uma amostra que representa os piores casos da base real — não contra os documentos mais bonitos que você tem à mão.
Isso significa, na prática:
- Mapear os tipos de documento que existem na base de produção (extensão, se tem ou não camada de texto, tamanho, origem).
- Montar uma amostra que privilegia os arquivos mais atípicos de cada grupo — os maiores, os digitalizados, os que têm tabela ou anexo — e não uma amostra aleatória uniforme, que tende a repetir o padrão comum e esconder o caso raro que quebra o sistema.
- Rodar a pipeline completa contra essa amostra hostil e revisar manualmente uma parte das respostas antes de qualquer aprovação.
Um jeito simples de montar essa amostra, sem depender de nenhuma ferramenta externa, é agrupar os arquivos por extensão e ordenar por tamanho dentro de cada grupo:
import random
from pathlib import Path
from collections import defaultdict
def build_hostile_sample(base_dir: str, sample_size: int = 20) -> list[Path]:
"""Agrupa documentos por extensão e devolve uma amostra que privilegia
os arquivos maiores de cada grupo (maior chance de ter tabela,
anexo ou digitalização com múltiplas páginas)."""
groups: dict[str, list[Path]] = defaultdict(list)
extensoes_alvo = {".pdf", ".docx", ".xlsx", ".csv"}
for path in Path(base_dir).rglob("*"):
if path.is_file() and path.suffix.lower() in extensoes_alvo:
groups[path.suffix.lower()].append(path)
if not groups:
return []
por_grupo = max(1, sample_size // len(groups))
amostra: list[Path] = []
for arquivos in groups.values():
arquivos.sort(key=lambda p: p.stat().st_size, reverse=True)
amostra.extend(arquivos[:por_grupo])
random.shuffle(amostra)
return amostra
Esse script não substitui uma revisão manual, mas resolve o primeiro problema: parar de testar sempre com os mesmos vinte documentos bem-comportados.
O que não é escopo deste critério
Este critério não garante que o RAG vai funcionar bem — garante apenas que o time vai descobrir os problemas de ingestão e recuperação antes do usuário final, e não depois. As próximas peças desta série detalham cada uma dessas rachaduras: como tratar documento digitalizado e tabela mal formatada (peça 02), como o chunking decide a qualidade da resposta (peça 03) e quando o problema é a recuperação, e não o modelo (peça 04).
Antes de seguir
Se o seu RAG só foi testado contra a base de demo, pare antes de chamar de "pronto para produção". O passo seguinte é aplicar esse critério, e os outros onze desta série, de forma sistemática. O Checklist de RAG em Produção vai reunir os pontos de verificação de toda a série num material gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.