#81 話しかけると動く、リアルタイム動画AIの時代

SoraやVeoに代表される最新の動画生成AIは、驚くほど高品質な映像を作れるようになりました。しかし多くは「プロンプト（指示文）を入力して数分〜数十分待ち、完成品を受け取る」という一方通行の仕組みです。ユーザーは生成中に何も口出しできず、ただ待つだけ。

一方、人間が楽しむ映像体験は、あらかじめ作られた動画だけではありません。会話やライブ配信、ゲームのように「その場で反応が返ってくる」インタラクティブな体験こそ需要が大きい。著者らは、再生・共有される録画動画よりも、リアルタイムに応答する映像への潜在需要のほうがはるかに大きいと指摘し、この研究に取り組みました。

最大の特徴は、​​「音声で映像の未来をその場でコントロールできる」​ 点です。「手を振って」「ハートを作って」と話しかけると、画面の中の人物がその通りに動きます。あらかじめ全部の指示を決めておく必要はなく、生成の途中でいつでも介入できます。

技術的な工夫は主に2つ。1つ目は 無限に長い映像を破綻させない仕組み 。通常この種のAIは、1コマずつ映像を作っていくと小さな誤差が積み重なり、時間とともに画面が崩壊してしまいます。そこで「TwinCache」という仕組みを導入。過去の映像を、あえてノイズを残した記憶（大まかな動きの流れを保つ）と、きれいに仕上げた記憶（細部を保つ）の2種類で管理し、長時間でも崩れないようにしました。

2つ目は 速度 。膨大な計算が必要な生成処理を「蒸留」という技術でわずか3ステップまで圧縮し、専用の高速化技術群（TurboDiffusion／TurboServe）と組み合わせることで、一般的なGPUでもリアルタイム動作を実現しています。

一般的なゲーミングGPU（RTX 5090）上で、540p解像度・最大42FPSの映像をリアルタイム生成。テレビ放送の目安である30FPSを上回り、実用レベルの滑らかさです。

品質面でも、本人らしさの保持（CSIM 0.9192）、音声と口の同期精度（Sync-D 7.847）、映像の見栄え（DOVER 0.5660）のすべてで、既存の商用・オープンソースの競合を上回りました。特に「指示に従って動けるか」を人間が評価したテストでは、商用のHeyGenやLemonSliceに対して指示追従性で 100% の支持を獲得。競合の多くは「音声に合わせて顔が動くだけ」なのに対し、Vidu S1は身振り手振りまで指示通りに実行できる点が評価されました。

これまでの動画生成AIは「制作ツール」でした。Vidu S1が示すのは、それが「コミュニケーション相手」や「配信者」になりうるという方向性です。

具体的には、ライブ配信の仮想ホスト、24時間対応のバーチャル接客・受付、教育用の対話エージェント、あるいはペットや故人の写真を動かして会話する個人向けサービスなど、応用範囲は広い。ユーザーは自分の好きな写真（実写・アニメ・ペット）をアップロードし、声色も選べるため、パーソナライズされた「動くキャラクター」を手軽に持てます。

ビジネス視点で重要なのは、​​「一般的なGPUで動く」低コスト性 です。特殊な巨大インフラを必要とせず実用速度が出せるなら、中小企業でも導入のハードルが下がります。「動画を作って待つ」時代から「話しかけて即応答する」時代へ——コンテンツとの関わり方そのものが変わる可能性を秘めています。