#8 AIに「失敗の記憶」を持たせたら同じミスを繰り返さなくなった

AIが強化学習で賢くなる過程で「同じ間違いを表現を変えて何度も繰り返す」問題に着目し、過去のエラーパターンを記憶して繰り返すほど重いペナルティを課す仕組み MEDS を提案し、数学推論の正答率と解法の多様性を同時に改善した研究。

大規模言語モデル（LLM）を強化学習で鍛えると、学習が進むにつれてモデルの出力が画一的になり、同じタイプの誤った推論を言い回しだけ変えて延々と繰り返す「エラー崩壊」が起きます。従来は「もっとランダムに出力させる」（エントロピー正則化）ことで多様性を保とうとしていましたが、LLMの出力空間は膨大なため、ランダム性を上げるだけでは「すでにハマっている間違いのパターン」から抜け出せません。人間であれば同じミスを繰り返すと「また同じことをやってしまった」と心理的ペナルティが増し、自然と回避行動をとります。この人間の学習メカニズムにヒントを得て、AIにも「過去の失敗の記憶」を持たせようというのが本研究の出発点です。

MEDS の核心は3つのステップに分かれます。

① 推論パターンの指紋をとる： モデルが回答を生成する際、内部のTransformer各層が出す「ロジット」（各単語の選ばれやすさを示す数値）を再利用して、その回答の "推論の指紋" を作ります。特に最終回答の最初のトークンに対する後半層のロジットを並べるだけなので、追加の計算コストはほぼゼロです。

② エラーの記憶と分類： 問題ごとに過去の不正解の指紋をストックし、密度ベースのクラスタリング手法 HDBSCAN で自動グループ化します。「問題の読み違え系」「計算ミス系」など、似た推論パターンの失敗が自然にまとまります。

③ 繰り返すほど重いペナルティ： ある回答が属するエラークラスタが大きい（＝同じ失敗パターンが頻出している）ほど報酬を差し引きます。これによりモデルは「よくやる間違い」を避け、新しい解法を探索するよう促されます。従来手法が「今この瞬間のランダム性」だけに頼っていたのに対し、MEDSは「過去の失敗履歴」という時間軸の情報を報酬設計に組み込んだ点が最大の新しさです。

3つのモデル（Qwen3-1.7B / Qwen2.5-Math-7B / Qwen3-8B）を5つの数学ベンチマークで評価したところ、MEDSは全モデルで既存手法（GRPO、DAPO、エントロピー正則化付きGRPO）を上回り、pass@1（1回の回答で正解する率）で最大 4.13ポイント 、pass@128（128回中1回でも正解する率）で最大 4.37ポイント の改善を達成しました。特にQwen3-8Bの OlympiadBench では、DAPOの 70.81 から 82.67 へと相対 17% もの大幅向上を記録。さらに、LLMベースの評価と統計指標の両方で、回答の多様性が有意に向上していることも確認されました。計算コストの増加はDAPO比で約 6〜9% にとどまり、実用的な範囲です。

この研究が示す「同じ失敗を記憶し、繰り返しを避ける」というアイデアは、数学に限らずAI活用全般に影響を与える可能性があります。たとえばカスタマーサポートのチャットボットが似たような的外れ回答を繰り返す、コード生成AIが同じバグパターンに陥る——こうした「AIの悪い癖」はビジネス現場でよく見られる課題です。MEDSの仕組みは、モデルの内部表現を再利用するだけで追加コストが極めて小さく、既存の強化学習パイプラインに後付けしやすい設計になっています。

また「ロジットの指紋」で推論パターンを分類できるという発見は、AIの思考プロセスを外から可視化・監視するツールとしても応用が期待されます。AIの判断根拠を説明する必要がある金融・医療・法律などの領域では、「このAIは今、過去と同じ間違い方をしようとしている」と事前に検知できることが品質管理の強力な武器になりえます。