#26 動画生成AIに3D空間の感覚を教え込む

動画生成AIが苦手な「カメラを動かしても物体が歪まない・消えない」という3D的な一貫性を、モデル構造を一切変えずに強化学習で身につけさせた研究です。

最近の動画生成AI（SoraやWan、CogVideoXなど）は、見た目は驚くほどリアルな動画を作れるようになりました。しかし大きな弱点があります。​カメラを大きく動かしたり長時間の映像を作ろうとすると、物体が突然変形したり、壁が歪んだり、消えたりする のです。これは「世界の3D構造」を理解しているのではなく、ピクセルの並びをそれっぽく真似ているだけだから起きます。

この問題を解こうと、これまでは「3D情報を直接モデルに注入する」アプローチが試されてきましたが、計算コストが膨大になったり、生成の多様性が落ちたりする欠点がありました。自動運転シミュレーションやロボット訓練など、物理的な正しさが必須の用途には致命的です。

著者らのアイデアは「動画生成モデルは実は内部に3D知識を持っているのに、それを引き出せていないだけ」というもの。だったら モデル構造をいじらず、強化学習でそれを引き出そう という発想です。

仕組みはこうです。まずテキストから動画を生成し、その動画を別の3D再構成AI（Depth Anything 3）に渡して3D空間として復元させる。​もし動画が3D的に矛盾していれば、復元が破綻する。この破綻度合いをスコア化して「報酬」とし、強化学習でモデルを育てていきます。

報酬は3つの観点で設計されています：

• メタビュー評価：別角度から見たときに不自然な「ハリボテ」になっていないかを視覚言語モデル（Qwen3-VL）にチェックさせる
• 再構成忠実度：3D化した結果を元の動画と比べて画素レベルで合っているか
• 軌道一致度：プロンプトで指示したカメラの動きにちゃんと従っているか

さらに、3D一貫性を強制すると「動くもの」（炎、流水、人の動き）まで固まってしまう副作用があるため、100ステップごとに一時的に3D制約を外して動的シーンだけで学習する「周期的デカップル学習」も導入しています。

3D一貫性の指標（PSNR）で、ベースのWan2.1-1.3Bに対して 10.23dB、Wan2.1-14Bに対して 7.91dB という大幅な改善を達成。これは画像の品質指標としてはかなり大きな差です。

ユーザー調査（25人による盲検評価）では、ベースモデルとの比較で：

• 幾何学的一貫性で 92% の勝率
• カメラ制御の正確さで 76%
• 総合的な好みで 86%

しかも、こうした厳しい制約を加えたにもかかわらず、一般的な動画品質ベンチマーク（VBench）の美的品質や画像品質スコアは 元のモデルを上回って います。121フレームの長尺動画でも一貫性が保たれることも確認されました。

この研究の意義は「動画生成AIを単なる映像作成ツールから、​物理的に正しい世界シミュレーター に進化させる道筋を示した」点にあります。

具体的なビジネスインパクトとしては：

• 自動運転の訓練データ生成：実走行データの代わりに、3D的に正しい走行映像を大量生成できる
• ロボティクスのシミュレーション：物体が消えたり歪んだりしない仮想環境で学習可能
• 建築・不動産・ゲーム：テキストから3D空間として整合性のあるウォークスルー映像を作れる
• 映像制作：カメラ移動を伴う複雑なショットでも破綻しない

特に注目すべきは ​「モデル構造を変えずに後から能力を追加できる」​ という点。これは、強力な動画生成モデルが今後さらに登場しても、同じ手法ですぐに3D対応版を作れることを意味します。基盤モデル時代における「ポストトレーニング（事後学習）」の威力を示した好例で、コスト効率の良い能力拡張の方法論として汎用性が高いです。