#15 AIの答えが金太郎飴になる正体

「AIに指示を従わせる学習」を重ねると、答えのバリエーションが失われていく——この"金太郎飴化"がどの段階でなぜ起こるのかを、学習途中のチェックポイントを追跡して解明した研究。

ChatGPT のような LLM は、学習済みの土台モデル（ベースモデル）に対して「人間好みの答え方」を仕込む追加学習（ポストトレーニング）を施して作られます。ところがこの仕上げ工程を経ると、同じ質問に何度聞いても似たような答えしか返ってこなくなる「多様性の崩壊（diversity collapse）」という現象が起きます。

これは地味に困る問題です。AI に何度もサンプリングさせて良い答えを選ぶ「自己一貫性」や「pass@k」といった手法は、​出力にバリエーションがあることが前提。さらに創作や価値観が絡むトピックでは、単一視点の押しつけにもつながります。従来研究は「DPO が悪い」「SFT が悪い」と特定の手法のせいにしてきましたが、​学習データの中身の影響と切り分けられていませんでした。

著者らは Olmo 3 という、学習過程のチェックポイントがすべて公開されている珍しいモデル群に注目しました。Olmo 3 には3つの並行ルートがあります：

• Think 系：2つの「先生モデル」から推論過程を学ぶ（狭いデータ）
• Instruct 系：複数ソース（GPT-3.5/4 等）の幅広いデータで学ぶ
• RL-Zero 系：中間工程を飛ばして、ベースモデルに直接強化学習

同じ3段階レシピ（SFT → DPO → RL）でも、上流のデータが違えばどうなるか？を比較できる理想的な実験場なのです。さらに面白いのが、Think モデルに「考えるな（chain-of-thought を出すな）」と指示してみる実験。これで、多様性の崩壊が モデルの重み に刻まれているのか、それとも 出力形式 の問題かを切り分けられます。15タスク・4つの多様性指標で徹底的に測定しました。

見事に データ構成が崩壊の場所を決める ことがわかりました。

• Think は SFT の段階でベースの多様性の 62% を失う（2人の先生に寄せすぎるため）
• Instruct は SFT では 38% 減に留まるが、DPO で追加的に 23% 失う
• RL-Zero は中間工程を飛ばすことで、ベースの 93% の多様性を保持

「考えるな」実験も決定的でした。Think モデルで CoT を封じると、難しい問題の正答率は最大 32% 落ちる一方、答えの多様性はまったく回復しない。つまり多様性の崩壊は出力形式ではなく、重みに焼き付いているのです。

さらに「正解だけを取り出した多様性」を見ると、IFEval では崩壊の 83% が「正解同士でも似通っている（真の均質化）」が原因、HumanEval では 10% 未満（ほぼ誤答の除去）と、タスク依存でした。

これは「AI を業務で使う側」にとって実用的な示唆に富みます。

ひとつ目：ブレストや創作、多様な視点が欲しい用途では、Think 系のような「少数の先生から蒸留された」モデルは不利。複数ソースから学んだモデル、あるいは RL-Zero 型のモデルを選ぶべきです。​推論時の温度パラメータをいじっても、学習で失われた多様性は戻りません。

ふたつ目：AI の「思考モード」オン・オフで多様性を制御できる、という期待は幻想です。多様性は学習段階で決まるので、運用側での対策には限界がある。

みっつ目：「16回サンプリングして多数決を取れば精度が上がる」という手法が、モデルによってまるで効かないことが判明。Base モデルは GSM8K で多数決により +24% 改善する一方、Think モデルはわずか **+0.4%**​（16個とも似通った答えなので票が割れない）。AI の「計算予算を増やして賢くする」戦略の効き目は、モデルの多様性に強く依存するのです。

そして最も本質的な点：価値観が絡む質問（PRISM タスク）では Think 系は 78% も多様性を失い、単一視点のリスクが高まります。AI の「意見の均質化」は学習時に埋め込まれている——これは社会的にも重い話です。