#34 1000層のAIが静かに壊れる謎

拡散モデル（画像生成AIの主流技術）を 1000層という極端な深さまで安定的に学習させることを可能にした研究。学習が突然崩壊する「平均モード絶叫（Mean Mode Screaming）」という現象の正体を解明し、それを防ぐシンプルな仕組み「MV-Split」を提案した。

画像生成AIの性能は、ニューラルネットワークを「深く」する（層を増やす）ことで上がることが知られています。ところが拡散トランスフォーマー（DiT、Stable Diffusionなどの中核技術）を数百層以上に深くすると、奇妙な現象が起きます。​何千ステップも順調に学習していたのに、ある瞬間突然崩壊し、二度と回復しないのです。エラーも出ず、警告もなく、ただ静かに壊れる。

従来「勾配爆発」「勾配消失」と呼ばれてきた問題とは違う、新種の故障パターンでした。深さを増せばモデルは賢くなるはずなのに、深くすると壊れる ── このジレンマが、超深層モデル開発の壁になっていたのです。

著者はまず、崩壊の正体を顕微鏡的に追跡しました。発見した犯人は、トークン（画像や文章を構成する小さな単位）が表現する情報の中の ​「平均成分」と「ばらつき成分」のアンバランス です。

各トークンの表現を「みんなの平均」と「個々の差分」に分解すると、Attention（トランスフォーマーの中核機構）は構造的に平均成分を温存しやすい性質があります。学習が進むうちに、勾配（パラメータ更新の指示）の中で平均成分が爆発的に増幅され、ある瞬間に閾値を超えると 全トークンが同じ顔になる「平均支配状態」​ に陥る。これを著者は「Mean Mode Screaming（平均モード絶叫）」と命名しました。

対策の MV-Split は、これまでの「残差全体を一律に抑える」手法（LayerScale等）と違い、​平均成分とばらつき成分に別々のブレーキをかける 仕組みです。暴走しやすい平均成分は強く抑え、特徴学習に必要なばらつき成分はしっかり残す ── 蛇口を分けるイメージです。

400層のDiTでの比較実験では、対策なしのモデルは学習途中で崩壊（FIDスコアが測定不能に）。LayerScaleは安定はするものの収束が遅い。MV-Splitは 崩壊を完全に防ぎつつ、LayerScaleより1.7倍速く収束 しました。50kステップ時点でFID 2.60、Inception Score 185.5と、LayerScaleの2.90/165.5を上回ります。

さらに著者は同じ仕組みで 1000層のDiT を学習させることに成功。これは画像生成モデルとしてはほぼ前例のない深さで、ベンチマーク（GenEval 0.534、DPG-Bench 74.91）でも実用レベルの性能を示しました。「深さを稼ぐ」という設計選択肢を実際に開けた点が大きな成果です。

生成AIの性能向上は近年「モデルを大きくする」ことで支えられてきましたが、その方向性には「幅（パラメータ数）」と「深さ（層数）」の2軸があります。深さを増す方向は、計算コストの面でも有利な選択肢として注目されてきましたが、本研究で明らかにされたような「静かな崩壊」が大きな障壁でした。

この研究は、​深さ方向のスケーリングを安全に進める道筋 を示した点で意味があります。Stable Diffusionの後継モデルや、画像・動画・3D生成の次世代基盤モデルの設計に直接影響する可能性があります。

また、ビジネス的な含意として面白いのは「エラーを出さずに静かに壊れるシステム」という観点です。学習が止まらないので一見正常に見えるけれど、内部では既に致命的な変質が起きている ── 大規模AI開発の現場では、こうした"沈黙の故障"の検知と防止が、コストと信頼性を左右する重要テーマになっています。1回の学習が数千万〜数億円規模になる時代、こうした"静かな崩壊"を未然に防ぐ仕組みは死活的に重要です。