#42 AIは本当に音を聞いている？映像で錯覚する正体

最新のAI動画理解モデルは音を「聞いている」ふりをして、実は映像から音を「推測している」だけだった — この錯覚を暴き、本当の音声理解へと矯正する手法を提案した研究。

GPTやGemini、Qwenなど最新のAIモデルは動画も「理解」できるようになり、映像と音声を同時に処理できると謳われています。しかし著者らは奇妙なことに気づきました。スケートボーダーが転倒する動画を見せると、AIは「ドスンという衝撃音」を必ず描写する — たとえ音声トラックが無音でも、まったく違う音に差し替えられていてもです。

これは20世紀初頭の「賢馬ハンス（Clever Hans）」の現象に似ています。計算ができると評判だった馬は、実は飼い主の微妙な表情を読んでいただけでした。AIモデルも「音を聞いた」ふりをして、実は「映像からありそうな音を想像している」だけかもしれない。この疑念を体系的に検証する手法が、これまで存在しなかったのです。

著者らは THUD という診断手法を提案しました。これは動画に対して3種類の「意地悪な改変」を施して、AIが本当に音を聞いているかをテストします。

• Shift（ずらし）​: 音声を映像から数秒ずらす → 同期を本当に確認しているか？
• Mute（消音）​: 音声を完全に消す → 「無音」と正直に答えられるか？
• Swap（差し替え）​: 別の動画の音声に差し替える → 映像と音の不一致に気づくか？

さらに著者らは、このテストを「診断」だけでなく「治療」にも使いました。映像に騙されない正解例と、映像に騙された間違い例をペアにして学習させる（DPOという好み学習）ことで、モデルに「音声をちゃんと確認する習慣」を教え込むのです。同時に一般的な動画理解能力も保つよう、通常の動画データも混ぜる二段階レシピを採用しました。

結果は衝撃的でした。GeminiやQwen3-Omni、MiniCPMなど すべての主要モデルが見事に騙されました。

• 音を完全に消した動画でも、6モデル中5モデルが 80%以上の確率で「音が聞こえる」と幻覚 を起こした
• Qwen3-Omniは音声を±2秒ずらした動画の 98%を「同期している」と誤判定
• 別動画の音に差し替えても、ほとんどのモデルが「映像とマッチしている」と答えた

著者らの矯正レシピ（10,000サンプル）を適用すると、Shift・Mute・Swapの3軸での平均精度が 28ポイント向上。同期検出は34.3% → 83.1%へと劇的に改善し、しかも一般的な動画理解ベンチマークの性能は維持・微増しました。

これは「AIの説明能力」を信用するビジネスの根幹に関わる発見です。

例えば監視カメラ映像をAIに解析させて「ガラスが割れる音がしました」と報告された場合、それは本当に音が録れていたのか、それとも映像から想像しただけなのか — 現状のAIではこの区別がつきません。コールセンターの通話解析、医療現場の音声記録、自動運転車のサイレン検知、メディア制作での音声同期チェックなど、​​「音を本当に聞いているか」が重要な場面は山ほどあります。

また本研究は、AI評価のあり方そのものに警鐘を鳴らしています。自然な動画でテストするだけでは「相関関係を悪用する近道」を見抜けない。意図的に矛盾する状況を作って初めて、本物の理解と見せかけの理解が区別できるのです。これは今後のAI評価方法論の標準を変える可能性があります。