Pedir para a IA não inventar não basta

Você já leu o resumo de uma reunião com uma frase entre aspas que ninguém disse?

Imagine que isso acontece. A reação comum é escrever mais uma regra nas instruções da IA: "cite só o que foi dito". Depois outra, e outra. É como um manual colado na parede: quanto maior, menos gente lê os últimos itens.

Eu aprendi que pedir não basta. Passei a conferir: um programa compara cada frase com a transcrição, o texto escrito do que foi falado. Se a frase não está lá, ela não segue adiante.

Se o resumo que chega a você tiver uma frase dessas, como você ficaria sabendo?

Um agente de IA pode inventar uma frase que soa certa

Um agente de IA é um programa que usa uma IA para fazer uma tarefa sozinho, como resumir uma reunião. Imagine um assistente que acompanha reuniões comerciais e escreve um resumo para o vendedor.

No resumo aparece uma frase entre aspas, atribuída ao cliente: "o orçamento está fechado para este trimestre". Ninguém disse isso. A frase soa plausível e tem o tom certo, mas o assistente a inventou.

Esse erro tem nome: alucinação, quando a IA afirma com segurança algo que não existe. A IA escreve texto coerente, e coerente não é o mesmo que verdadeiro. Para descobrir a invenção, você teria de ouvir a gravação inteira, o que anula o motivo de ter um assistente.

Por que pedir "não invente" não resolve?

A resposta mais comum é escrever uma instrução: "cite só o que foi dito". Funciona em boa parte dos casos. Falha em alguns, e você não sabe quando.

Uma instrução é um pedido. É como pedir a um funcionário que não erre a conta, em vez de conferir a conta depois. A IA lê o seu pedido como mais um texto, ao lado da transcrição e do histórico da conversa. Nada a obriga a obedecer.

Uma frase mais forte ou uma regra repetida diminui a chance de erro. Zerar, não dá.

Que travas barram a frase inventada?

Qualquer sistema que escreve com IA precisa responder a quatro perguntas. Cada resposta resolve uma parte do problema, e nenhuma substitui as outras.

1. O que entra: só informação com origem conhecida, que no caso da reunião é a transcrição.
2. O que a IA escreve: um rascunho, que ainda precisa ser verificado.
3. O que um programa confere: cada frase entre aspas precisa ter origem comprovada. Se não bate, a frase sai do resumo.
4. O que você vê: cada trecho mostra de onde veio, e o palpite da IA aparece separado.

A terceira trava é como apertar Ctrl+F para procurar a frase na transcrição: ela está lá ou não está, sem meio-termo. O resultado é sempre o mesmo, por isso não depende de a IA obedecer.

Vale também para números. A IA escreve "as vendas subiram 12% no mês". Se o programa não refaz a conta com os dados reais, o número não entra no resumo.

Nenhum programa substitui a leitura de uma pessoa quando o sentido importa. Por isso a quarta trava mostra a origem de cada trecho, e alguém ainda lê.

Duas saídas parecem fáceis e não são. Deixar circular a frase sem prova, com um aviso de "baixa confiança", mantém uma possível invenção com cara de informação. E pedir à IA uma nota de 0 a 100 para a própria confiança finge uma precisão que ela não tem.

Se todos os testes passam, o que ainda pode estar errado?

Hoje agentes de IA escrevem muito código e rodam os testes, as conferências automáticas que mostram se o programa funciona. Eu passei a definir o que o código precisa garantir e a revisar o resultado. Mas quem confere o programa que confere?

Imagine um programa que confere notas fiscais e aceita o número em qualquer nota da pasta, não só na nota certa. Os testes passam, porque só usam casos honestos. Mas uma nota de outro cliente seria aprovada. É como conferir uma assinatura que existe, mas é de outra pessoa.

Testes que passaram não provam que a trava funciona. A prova é tentar passar um erro de propósito e ver o programa barrá-lo. É como testar o alarme do depósito simulando uma invasão, sem se contentar com a luz verde acesa.

Quem corrige não valida a própria correção

Quem corrige uma falha tende a aprovar o próprio trabalho. No depósito, quem separa o pedido não confere a própria carga.

Por isso a revisão deve vir de quem não escreveu o código, com permissão só para apontar defeitos, nunca para mexer. Eu só aceito um "resolvido" depois de repetir a conferência que falhava e ver que agora ela barra o erro.

Quando não vale a pena montar tudo isso?

Conferir custa tempo, gente e dinheiro: alguém monta a conferência, tenta fazê-la falhar de propósito e a mantém quando o sistema muda. E ele muda até sem você mexer, como quando o fornecedor aposenta a versão da IA que o sistema usa.

Se uma ferramenta só rascunha textos e uma pessoa lê tudo antes de usar, um bom prompt e uma leitura atenta costumam bastar. Faça isso e pare por aí.

O custo compensa quando pelo menos uma destas coisas é verdade:

• A resposta da IA entra numa decisão de negócio.
• Ela leva o nome de uma pessoa real, como um cliente ou um funcionário.
• O erro só aparece depois que alguém já agiu.
• Quem lê não tem como conferir a fonte antes de agir.

O que decide é o preço de um erro que passa despercebido. Se for o seu caso, três perguntas a quem montar a sua IA ajudam: de onde vem cada frase e cada número? O que acontece quando algo não bate? Pode me mostrar um erro de propósito sendo barrado?

Uma pergunta para levar: quando uma IA escreve algo que vai para um cliente ou para uma decisão sua, o que confere o texto antes?