誤情報を押し続ける会話で、AIモデルは判断を揺らす

言語モデルは最初のターンで否定した虚偽を、新しい証拠がないまま後のターンで受け入れることがある。9月1日付のScientific Reportsに掲載された研究では、偽情報で圧力をかける長い会話に7システムを参加させた。反復条件での肯定率は0.08％から12.3％まで開き、テストしたモデル間で150倍を超える差があった。この範囲は日常の回答が誤る確率ではなく、持続的な偽情報を与える特定の手順での挙動を表す。

Jordan Rodriguezらは、意図的に誤らせた100の記述を最大50回繰り返す会話系列で提示した。対象はGPT-3.5、GPT-4o、GPT-4o-mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、700億パラメータのLlama 3、DeepSeek-R1だった。著者らは、反復に対する誤りやすさ、強まる主張への説得されやすさ、システム自身が生んだ誤情報を訂正する能力の三つを分けた。一つの点数で、誤りの発生とその後の反応を混同しない設計である。

反復試験ではGPT-3.5の偽情報再肯定率が最も高く、Claude 3.5 Sonnetが最も低かった。同じ虚偽をターンごとに受け入れたり拒んだりするモデルもあり、著者らはこれを「会話の反響」と名づけた。揺れは、一度の正答がその後の一貫性を保証しないことを示す。比較が当てはまるのは、3年に及ぶ研究で調べたバージョンと設定であり、現在同じブランド名を持つすべての製品ではない。

話題のなじみの薄さは反復試験の影響されやすさを有意に変え、カイ二乗値は11.13、p値は0.0038だった。一方、主張を段階的に強める条件では同じ差が出なかった。著者らは、訓練素材に多く現れる話題ほど誤情報への抵抗が強いという説明と整合すると解釈する。ただし実験は訓練データの頻度を測っておらず、閉鎖型モデルでは特に確認できない。訓練時の露出は推論であり、一般的な話題と不明瞭な話題の差が観測結果である。

使われた指標ではDeepSeek-R1が最も説得されやすく見えたが、研究は重要な問題を記録している。皮肉を含む回答を、受容と拒否のどちらかへ確実に分類できない場合があった。この曖昧さは単純な順位づけを弱める。訂正段階ではGPT-4o、GPT-4o-mini、Gemini 1.5 Pro、DeepSeek-R1が二度目の機会に誤りを100％訂正した。対照的に、初期誤り率が最も低いモデルは少数の誤りを一つも直さず、誤りにくさと撤回する力が別だと分かった。

研究には人間の利用者、臨床課題、現実の意思決定は含まれない。結果は選んだ虚偽、プロンプトを強める順序、回答の分類方法にも依存する。公開論文は受理後の先行版で、最終組版前でもある。閉鎖型システムは告知されない更新で試験後に挙動が変わり得る。したがって数値はブランドの恒久的な順位表ではなく、定めた会話圧力の下で識別されたバージョンを測った値である。

事実の正しさが決定的な用途では、最初の回答だけの評価が重要な失敗を見逃すと、この手順は示唆する。複数ターンの試験では会話全体の一貫性を追い、誤りの予防と自己訂正を分け、システムのバージョンを記録する必要がある。ほとんど誤らないモデルが、誤った時には直しにくいこともある。別のモデルは譲歩が多くても再検討にはよく応じるかもしれない。会話の安全性には両段階が必要で、二つは必ずしも連動しない。