#41 「迷い」がAIを賢くする：反・自己蒸留の発見

大規模言語モデル（LLM）に推論力を身につけさせる主流の方法は「強化学習」ですが、最終的な答えが正解か不正解かという1ビットの情報しか報酬がもらえません。長い推論プロセスのどの一手が良くてどの一手が悪かったのか、評価する手立てがないのです。

そこで近年広がっているのが「自己蒸留（self-distillation）​」というアイデア。同じモデルに「正解という特権情報」を見せた状態を"先生"役にして、それと普段の自分（"生徒"）が一致するように学習させる手法です。外部の強い先生モデルがいらない点で魅力的ですが、なぜか 数学の難問では効かない、むしろ性能が落ちることが報告されていました。本研究はその謎を解明しようとしました。

著者らはまず、自己蒸留が各単語（トークン）に与えている「ご褒美」を1つずつ解析しました。すると驚くべき構造的バイアスが見つかります。

正解を知ってしまった先生にとって、「したがって」「与えられた」「成り立つ」といった 答えが分かれば自然に出てくる単語 には強い加点が、「待てよ」「もしかして」「あるいは」といった じっくり考え直す単語 には強い減点がついていたのです。つまり従来の自己蒸留は、推論に最も必要な"立ち止まって検討する力"を罰していたわけです。著者らはこの量が情報理論でいう「条件付き相互情報量（PMI）」に一致することを数式で示しました。

解決策はシンプルで挑発的です。「勾配の向きを逆にする」。先生に近づくのではなく、あえて先生から離れる方向に学習させる「Anti-Self-Distillation（反・自己蒸留）​」を提案しました。さらに先生の出力が情報を持たなくなったときに自動でブレーキをかける仕組み（エントロピーゲート）を1つ加えるだけ。既存コードに置き換えるだけで動く軽い修正です。

4B〜30Bパラメータの5つのモデル（Qwen3系、Olmo-3系）で数学コンテストの問題（AIME 2024/2025/2026、HMMT 2025、MinervaMath）を解かせた結果：

• 学習速度が2〜10倍：強化学習ベースライン（GRPO）が200ステップで到達する精度に、AntiSDは20〜100ステップで到達
• 最終精度が +2.1〜+11.5ポイント 向上
• 例えばQwen3-8BでHMMT 2025の正答率が、GRPOの 39.2% に対しAntiSDは 54.4%
• 一方、従来の自己蒸留は5モデルすべてでGRPOを下回り、Qwen3-8Bでは 57.4% → 30.6% と大きく劣化
• pass@32（32回挑戦して1回でも正解する率）でもAntiSDがリードを保ち、単に答えを絞り込むのではなく 本当に解ける問題が増えた ことを確認

この研究の面白さは「常識を逆にしただけで大幅改善した」という痛快さだけではありません。

第一に、​外部の強い先生モデルが不要になります。これまで強いAIを作るにはさらに強いAIが必要という鶏と卵の問題がありましたが、AntiSDはモデルが自分自身を教材にして賢くなる道を開きます。コストと依存関係を大きく削れます。

第二に、​学習効率2〜10倍は実コストに直結します。LLMの強化学習は計算資源の塊で、1回の学習に数千万〜数億円かかることも珍しくありません。同じ精度に5倍速く到達できるなら、開発サイクルもコストも劇的に変わります。

第三に、より示唆的なのは「正解を見せすぎると考えなくなる」という発見が、人間の教育や組織マネジメントのアナロジーとして響くこと。答えを教えてしまうと"なぜ"を考える筋力が落ちる、というのはAIに限らない普遍的な構造かもしれません。AIに任せきりにせず「迷い」や「再検討」をどう設計するかは、人間とAIが協働する時代の重要なテーマになりそうです。