#82 賢さを「差分」で引き継ぐAI訓練の新常識

いまのAIの推論能力は「強化学習（RLVR）」という訓練で大きく伸びています。ただしこの訓練は、AIモデル自身に何度も答えを生成させ、その正誤を採点しながら少しずつ改善していく方式のため、モデルが大きくなるほど1回の試行が遅くなり、費用も跳ね上がります。新しく強力なモデルが出るたびに、この高額な訓練をゼロからやり直すのは非現実的です。訓練そのものがボトルネックになりつつあるのです。そこで「小さいモデルで安く訓練し、その成果を大きなモデルに使い回せないか」という発想が生まれました。

素直に考えると「訓練済みの小さいモデルをお手本にして真似させる」方法（オンポリシー蒸留）が思い浮かびます。しかしこれには落とし穴があります。小さいモデルの最終的な振る舞いには「強化学習で得た良い変化」と「小さいがゆえの能力の限界」がごちゃ混ぜになっているのです。すでに生徒（大きいモデル）の方が優秀な場合、お手本を真似ると逆に弱くなってしまいます。

この研究の工夫は、小さいモデルの「訓練前」と「訓練後」の2つのスナップショットを比べる点です。両者の差分こそが「強化学習が引き起こした改善の方向」だけを純粋に取り出したものになります。例えるなら、料理人の完成品を丸ごとコピーするのではなく、「訓練を経てどの手順を強化し、どの手順をやめたか」という差分（レシピの改訂点）だけを抽出し、それを別の料理人に適用するイメージです。数学的にも、この差分が元の報酬シグナルと等価であることが示されています。

小さい1.5Bモデルの訓練成果を使って、それより優秀な大きいモデルを軒並み改善できました。数学コンテストAIME 2024で、Qwen3-1.7Bは 48.3% から 58.3% へと約10ポイント向上。注目すべきは、この水準が「32枚のGPUで1週間以上」かけて直接強化学習した結果に匹敵する成績を、わずか 8枚のGPUで約4時間 で達成した点です。さらに、大きいモデルを直接訓練する場合（約320時間）に対し、小さいモデルの訓練＋移植の方が、同じ訓練ステップ数でも精度・計算コストの両面で上回りました。

これは「AI開発のコスト構造」を変えうる話です。従来は、より賢いAIを作るには、その巨大なAI自身に膨大な計算資源を投じて訓練する必要がありました。この研究は「賢くする作業は安い小型モデルで済ませ、その成果だけを高価な大型モデルに移植する」という分業を可能にします。

ビジネス視点で言えば、AIモデルのバージョンアップのたびに発生していた高額な再訓練コストを大幅に圧縮できる可能性があります。しかも、異なる訓練で得た複数の「改善成果」を順番に積み重ねて1つのモデルに合成できることも示されました。つまり「数学が得意になる改善」と「別の能力の改善」を、それぞれ安く作って後から足し合わせる、という部品化・使い回しの発想です。AIを内製・カスタマイズする企業にとって、開発の柔軟性とコスト効率を高める現実的な武器になりえます。