#33 音楽を入れたらAIが踊る動画を作る時代

音楽を入れるだけで、参考画像の人物がその曲に合わせて踊る動画を自動生成する技術。「振り付け担当」と「映像化担当」という2人のAI専門家を直列につないだ分業設計で、自然な動きと崩れない見た目を両立した研究。

TikTokやYouTubeでダンス動画が爆発的に伸びるなか、「音楽を入れたらAIがそのまま踊る動画を作ってくれる」という需要が高まっています。しかし、これまでの技術はどれも一長一短でした。3Dモデルを動かす研究は動き自体は上手いものの、出てくる映像はCG感が強くリアルではない。逆に、ポーズを与えれば人物画像を動かせる「画像アニメーション技術」は見た目は綺麗ですが、肝心のポーズ自体を人間が手作業で用意する必要があった。さらに、しゃべる顔を作るAI技術は上半身までしか想定しておらず、全身を激しく動かすダンスには使えません。「動き」と「見た目」を同時に高品質に作れるシステムが存在しなかったのです。

著者らの発想は明快で、「一人で全部やろうとせず、2人の専門家に分業させる」というものです。

Motion Expert（動きの専門家）​: 音楽を聴いて、まず3Dの骨格データ（人体の動き）を作ります。ここで使われているのが「BiMamba（双方向マンバ）」と「Transformer」のハイブリッド。マンバは音楽や動きの局所的な滑らかさ​（直前直後のつながり）を、Transformerは曲全体と動き全体の大局的な対応​（サビで盛り上がるなど）を担当します。さらに「Guidance-Free Training（GFT）」という新しい学習法で、推論速度を従来比約1.6倍に改善しました。

Appearance Expert（見た目の専門家）​: 受け取った3Dの動きと、ユーザーが指定した参考画像（例えば「このアイドル風の人物」）を組み合わせて、実際の動画フレームを描き起こします。ここでは「Kinematic（動き合わせ）」と「Aesthetic（美しさ）」の2段階で別々に微調整するのがミソ。先に動きの正確さを叩き込んでから、テクスチャや服のディテールを磨き上げる「順序を分ける」戦略です。

中間データに3Dの骨格を使う点も重要で、2Dの棒人間より奥行きや回転に強く、視点が変わっても破綻しにくくなります。

3つの観点で当時の最先端（SOTA）を達成しました。

• 動画全体: 独自に構築した7万クリップ・116時間のデータセット「MA-Data」での評価で、動きの忠実度（FID）・多様性・音楽との同期スコア（BAS=0.523）すべてでトップ。
• 3Dダンス生成単体: 標準ベンチマークFineDanceで、FID指標が従来手法の50.00から 17.83 へと大幅改善。生成速度も毎秒770フレームと、競合の数倍速い。
• 画像アニメーション単体: 既存の有力モデルWan-Animate（FVD 332）を上回り、​FVD 274.94 を達成。
• ユーザー調査: 40人のダンス経験者を対象にしたブラインド評価で、動きの質・同期・見た目の自然さなど6項目すべてで 50〜65% の支持を獲得（競合各社は2〜21%）。

この研究は、SNS時代の動画コンテンツ制作のあり方を変える可能性があります。これまでダンス動画を作るには、ダンサー本人・撮影機材・編集スキルが必要でした。MACE-Danceがあれば、​1枚の人物写真と好きな楽曲があれば、その人がプロのように踊る動画が作れてしまう。広告、MV制作、Vチューバー、メタバース内のアバター演出、ECサイトのモデル動画など、適用範囲は広いでしょう。

加えて、「動き」と「見た目」を分けた設計は実務的にも賢い選択です。動きだけ修正したい、別人に差し替えたい、といった編集が中間データ（3D骨格）の段階で可能になるため、商用パイプラインに組み込みやすい。論文も「将来はテキスト指示にも対応させたい」「14Bパラメータの軽量化が課題」と正直に述べており、リアルタイム化が進めばライブ配信の即時ダンス演出といった用途も現実味を帯びます。

一方で、著者ら自身が倫理面のリスクにも言及しており、本人同意なしに「踊らされる動画」が作られる懸念は無視できません。技術の進歩と並行して、透かしや出所証明の議論が一層重要になりそうです。