#69 AIの最後の層が賢さの邪魔をしていた

LLMは何十もの「層」を積み重ねた構造で、入力を1層ずつ処理し、いちばん最後の層から次の単語を出力します。この設計には「層が深いほど計算が洗練され、最後の層がもっとも正確だ」という暗黙の前提があります。

ところが近年、この前提が必ずしも正しくないという証拠が増えてきました。途中の層のほうが問題に関連する深い意味をよく捉えていて、最後の層がせっかく練り上げた答えを「ありきたりな方向」に崩してしまうケースがあるのです。

著者らは、その原因の一つが「アライメント（人間の好みに合わせる調整）」にあると考えました。安全で無難な受け答えを学ばせる調整が、難問では逆効果になっている可能性に注目したのです。

著者らはまず、LLMが答えを作る過程に「推測→洗練→かく乱（Guess-Refine-Perturb）」という3段階があることを突き止めました。浅い層がざっくり当たりをつけ、中間層がじっくり論理を磨き上げ、そして最後の層が、磨いた答えを「the」「is」「so」のような無難でありふれた単語のほうへ引き戻してしまうことがある、というのです。これを彼らは「アライメント税（Alignment Tax）」と呼びます。

そこで提案するのが Confident Decoding（自信のある復号）​ 。ポイントは「モデルがどの層でいちばん自信を持っているか」を、予測の迷いの度合い（エントロピー＝確率分布の散らばり）で測ること。最後の層から逆向きにさかのぼり、迷いが最小になる「谷（エントロピー・バレー）」を見つけ、そこから単語を出力します。

しかもこの手法は再学習が一切不要。モデルの計算自体はすべて通常どおり走らせ、ただ「どの層の結果をサンプラーに渡すか」だけを単語ごとに切り替える。だから既存システムにそのまま差し込めます。

大学院レベルの科学問題（GPQA-Diamond）、数学オリンピック級の問題（Omni-MATH）、人類最後の試験（HLE）など難関ベンチマークで、一貫して精度が向上しました。たとえばQwen3.5-35BではGPQA-Diamondで 76.3%→82.8%（+6.5ポイント）​ 。コーディングのテストではQwen3.5-27Bが +10.1ポイント という大幅な伸びを見せました。

特に印象的なのは難易度別の分析です。簡単な問題ではほぼ差がない一方、最難関の数学問題では、あるモデルの正答率が 1.1%から23.5%へ（+22.4ポイント）​ と劇的に回復。難しい問題ほど効果が大きいのです。しかも追加メモリはゼロ、処理時間の増加も2%未満に抑えられています。

この研究が示す教訓は、AIに「無難で安全な受け答え」を仕込むと、難しい論理的な問題を解く力がこっそり削られている、という構造的なトレードオフです。実際、調整済みモデルが調整前のモデルより推論問題で負けてしまうケースさえ観測されました。

ビジネスの視点で面白いのは、この改善が追加コストほぼゼロで得られること。新しいモデルを訓練し直す必要も、高価なGPUを増やす必要もなく、出力の取り出し方を変えるだけ。研究開発・科学計算・コード生成といった「賢さが直接価値になる」用途で、手持ちのAIの隠れた実力を引き出せる可能性があります。

さらに重要なのは、安全性（安全ベンチマークAir-Bench）や文章の作文能力は落ちないどころか、むしろ改善した点。「安全のためのガードレール」は保ちつつ「難問での余計な遠慮」だけを取り除く、というバランスを実現しています。AIの安全対策と性能は必ずしも対立しない、という示唆は実用上とても心強いものです。