Quando a conversa insiste no erro, modelos de IA começam a oscilar

Um modelo de linguagem pode rejeitar uma falsidade no primeiro turno e aceitá-la mais adiante, sem que apareça qualquer evidência nova. Em um estudo publicado na Scientific Reports em 1º de setembro, sete sistemas responderam a conversas prolongadas construídas para pressioná-los com informação falsa. As taxas de concordância sob repetição foram de 0,08% a 12,3%, uma diferença superior a 150 vezes entre os modelos testados. A amplitude não descreve a probabilidade de qualquer resposta cotidiana estar errada; mede o comportamento nesse protocolo específico de desinformação sustentada.

Jordan Rodriguez e colegas apresentaram 100 afirmações deliberadamente falsas em sequências de até 50 repetições. O teste incluiu GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 de 70 bilhões de parâmetros e DeepSeek-R1. Os autores separaram três propriedades: falibilidade diante da repetição, persuasibilidade sob argumentos cada vez mais insistentes e capacidade de corrigir uma falsidade que o próprio sistema havia produzido. Essa divisão impediu que um único placar misturasse o surgimento do erro com a reação posterior ao erro.

No teste de repetição, GPT-3.5 teve a maior taxa de reafirmação da desinformação e Claude 3.5 Sonnet, a menor. Alguns modelos alternaram entre aceitar e rejeitar a mesma frase falsa ao longo dos turnos, comportamento chamado pelos autores de reverberação conversacional. A oscilação mostra que uma resposta correta isolada não assegurou consistência na continuação do diálogo. As comparações valem para as versões e configurações examinadas durante um projeto que se estendeu por três anos, não para todos os produtos que hoje carregam as mesmas marcas.

A obscuridade do assunto modificou significativamente a suscetibilidade no teste repetitivo, com qui-quadrado de 11,13 e p de 0,0038, mas não produziu a mesma diferença na condição de argumentação crescente. Os autores interpretam o padrão como compatível com maior proteção quando um tema aparece mais no material de treinamento. O experimento, porém, não mediu a frequência dos dados de treinamento, especialmente nos modelos fechados; a explicação sobre exposição permanece uma inferência, enquanto a diferença entre assuntos comuns e obscuros é o resultado observado.

DeepSeek-R1 apareceu como o mais persuasível pela métrica usada, mas o próprio estudo registra um problema: respostas sarcásticas do modelo nem sempre podiam ser classificadas com segurança como aceitação ou rejeição. Essa ambiguidade enfraquece uma leitura ordinal simples. Na etapa de correção, GPT-4o, GPT-4o-mini, Gemini 1.5 Pro e DeepSeek-R1 corrigiram 100% dos erros quando receberam uma segunda oportunidade. Em contraste, o modelo com a menor taxa inicial de erro não corrigiu nenhum de seus erros raros, separando resistência a falhar de habilidade para se retratar.

O estudo não envolveu usuários humanos, tarefas clínicas ou decisões reais, e seu desenho depende das frases escolhidas, da progressão dos prompts e da classificação das respostas. A versão publicada também é uma prévia aceita, ainda sem a diagramação final. Atualizações silenciosas de sistemas fechados podem mudar o comportamento depois do teste. Por essas razões, os números não formam um ranking duradouro de marcas; funcionam como medidas de versões identificadas sob uma pressão conversacional definida.

Para usos em que a verdade factual é decisiva, o protocolo sugere que avaliar apenas a primeira resposta perde falhas importantes. Testes de vários turnos precisam acompanhar coerência ao longo do diálogo, separar prevenção de autocorreção e registrar a versão do sistema. Um modelo que quase nunca erra pode ser difícil de corrigir quando erra; outro pode ceder mais vezes e ainda responder bem à revisão. A segurança da conversa depende das duas etapas, e o estudo mostrou que elas não caminham necessariamente juntas.