Pular para o conteúdo
Engenharia com agentes de IA: governança e custo em reais.

IA em produção · 5 de outubro de 2026

Do POC à produção: por que o RAG funciona na demo e falha com documento real

Por Medha

Cenário (sintético)

Um time de engenharia apresentou, numa sexta-feira, uma demo de RAG (retrieval-augmented generation) para o jurídico da empresa. A base de teste tinha 20 contratos-modelo, gerados em Word e exportados em PDF nativo, todos com a mesma estrutura de cláusulas. O sistema respondia bem, citava o contrato certo, e ninguém achou nada estranho.

Três semanas depois, o mesmo RAG foi ligado na base real: milhares de documentos acumulados ao longo de anos, entre contratos escaneados, aditivos anexados em PDF, planilhas de valores coladas como imagem dentro do PDF e um punhado de arquivos sem nenhuma camada de texto selecionável. A taxa de resposta errada disparou, e ninguém sabia dizer exatamente por quê — porque ninguém tinha testado o sistema contra nada parecido com aquilo antes de ligar.

Esse padrão é recorrente: sempre que a base de teste é curada e a base real não é, a diferença aparece no primeiro dia de produção. Não é falha de modelo. É falha de teste.

Por que a demo funciona: o dataset está com viés de curadoria

O dataset de demo quase sempre tem cinco características que não existem na base real:

  1. Texto limpo. Documentos gerados digitalmente (Word, HTML, Markdown) têm texto extraído sem ruído. Documentos digitalizados dependem de OCR, que erra em tabela, assinatura, carimbo e papel timbrado.
  2. Formato homogêneo. Vinte contratos do mesmo modelo têm a mesma estrutura de seção. A base real mistura contrato antigo, contrato novo, aditivo, anexo e e-mail que virou PDF.
  3. Tamanho pequeno e previsível. Cabe inteiro no contexto sem problema de chunking. Documentos reais variam de uma página a algumas centenas.
  4. Sem duplicata quase-idêntica. Na base real é comum ter três versões do "mesmo" contrato com uma cláusula diferente — e o sistema de recuperação não sabe qual é a vigente.
  5. Metadado implícito e correto. Na demo, todo mundo sabe que aquele PDF é o contrato X, versão 2024. Na base real, data, autor e versão muitas vezes não estão em lugar nenhum, ou estão errados.

Nenhuma dessas cinco diferenças aparece em uma demo com 20 documentos escolhidos a dedo. Todas aparecem no primeiro dia de produção.

O critério prático: teste contra amostra hostil, não contra a base bonita

O critério de aceite que evita essa surpresa é simples de enunciar e trabalhoso de aplicar: antes de aprovar um RAG para produção, rode a mesma pipeline de ingestão, recuperação e resposta contra uma amostra que representa os piores casos da base real — não contra os documentos mais bonitos que você tem à mão.

Isso significa, na prática:

  • Mapear os tipos de documento que existem na base de produção (extensão, se tem ou não camada de texto, tamanho, origem).
  • Montar uma amostra que privilegia os arquivos mais atípicos de cada grupo — os maiores, os digitalizados, os que têm tabela ou anexo — e não uma amostra aleatória uniforme, que tende a repetir o padrão comum e esconder o caso raro que quebra o sistema.
  • Rodar a pipeline completa contra essa amostra hostil e revisar manualmente uma parte das respostas antes de qualquer aprovação.

Um jeito simples de montar essa amostra, sem depender de nenhuma ferramenta externa, é agrupar os arquivos por extensão e ordenar por tamanho dentro de cada grupo:

import random
from pathlib import Path
from collections import defaultdict

def build_hostile_sample(base_dir: str, sample_size: int = 20) -> list[Path]:
    """Agrupa documentos por extensão e devolve uma amostra que privilegia
    os arquivos maiores de cada grupo (maior chance de ter tabela,
    anexo ou digitalização com múltiplas páginas)."""
    groups: dict[str, list[Path]] = defaultdict(list)
    extensoes_alvo = {".pdf", ".docx", ".xlsx", ".csv"}

    for path in Path(base_dir).rglob("*"):
        if path.is_file() and path.suffix.lower() in extensoes_alvo:
            groups[path.suffix.lower()].append(path)

    if not groups:
        return []

    por_grupo = max(1, sample_size // len(groups))
    amostra: list[Path] = []
    for arquivos in groups.values():
        arquivos.sort(key=lambda p: p.stat().st_size, reverse=True)
        amostra.extend(arquivos[:por_grupo])

    random.shuffle(amostra)
    return amostra

Esse script não substitui uma revisão manual, mas resolve o primeiro problema: parar de testar sempre com os mesmos vinte documentos bem-comportados.

O que não é escopo deste critério

Este critério não garante que o RAG vai funcionar bem — garante apenas que o time vai descobrir os problemas de ingestão e recuperação antes do usuário final, e não depois. As próximas peças desta série detalham cada uma dessas rachaduras: como tratar documento digitalizado e tabela mal formatada (peça 02), como o chunking decide a qualidade da resposta (peça 03) e quando o problema é a recuperação, e não o modelo (peça 04).

Antes de seguir

Se o seu RAG só foi testado contra a base de demo, pare antes de chamar de "pronto para produção". O passo seguinte é aplicar esse critério, e os outros onze desta série, de forma sistemática. O Checklist de RAG em Produção vai reunir os pontos de verificação de toda a série num material gratuito — ainda em preparação: deixe seu e-mail na lista de espera para recebê-lo assim que ele sair.

Checklist de RAG em Produção

Os critérios da série IA em produção reunidos num checklist para levar um RAG da prova de conceito à produção.

Só enviamos o material e avisos sobre ele. Privacidade