#13 AIへのヒントは「短く的確」が最強だった

大規模言語モデル（LLM）に数学のような難問を解かせる学習では、「強化学習」という手法がよく使われます。正解すれば報酬、不正解なら罰、というシンプルな仕組みです。しかし難問では、モデルが何度試しても全部不正解になることが多く、「報酬がまったく発生しない＝何も学べない」状態に陥ります（報酬スパースネスと呼ばれる問題）。

この対策として最近流行っているのが「ヒント付き学習」。問題と一緒に解答の一部やヒントを見せて、正解に近づけてあげるやり方です。ただ既存手法は「ヒントは長いほど良い」という前提で設計されており、冗長性や矛盾を生み、計算コストも膨らむ課題がありました。

この論文の面白い発見は、ヒント量と性能の関係が直線的ではないという点です。ヒントを少しずつ増やしていくと、ある「キモの部分」に到達した瞬間に性能がジャンプし、その後はいくら足しても伸びない——著者らはこれを「クリティカル・セグメント効果」と呼んでいます。

そこで提案されたのが KnowRL 。アプローチを一言で言えば「ヒントを長い文章として与えるのではなく、​原子レベルの知識ポイント（KP）​ に分解して、必要最小限だけを選んで与える」というものです。

ただ厄介なのが「剪定の逆説（pruning paradox）」。KPを1つだけ削ると性能が上がるのに、同じ基準で不要そうなKPを複数同時に削ると逆に性能が落ちる、という現象が起きます。知識同士が依存し合っているのです。

著者らはこの問題を踏まえ、 CSS（制約付き部分集合探索）​ という選択アルゴリズムを開発しました。まず明らかに要らないKPを削ぎ落とし、残った候補だけを対象に組み合わせを全探索する、という二段構えの方法です。

1.5B規模のOpenMath-Nemotronモデルに適用し、8つの数学ベンチマーク（AIME、HMMT、MATHなど）で評価した結果は以下の通り：

• ベースモデルの平均正解率 60.45% が、KnowRL学習後は 70.08% （推論時ヒントなし）へ、ヒント付きで 74.16% まで向上
• 特に難度の高いAIME25で +15.11ポイント 、CMIMC25で +15.49ポイント という大きな改善
• 選択されるKPは平均 2.57個/問題 と非常にコンパクト（全KP使用時は5.86個）
• ランダムに2〜3個のKPを選ぶベースラインは大きく劣り、「数」ではなく「選び方」が効くことを実証

1.5B規模では当時の最高性能（SOTA）を更新しました。

この研究の示唆はAI開発の現場を超えて、教育や業務指導にも通じます。「相手を伸ばしたいなら、長い解説よりも的確な一押しのほうが効く」という直感を、データで裏付けた形です。

ビジネス面では3つの意味があります。第一に、 AIの学習コストを下げられる こと。長大なヒントを生成・管理するより、短いキーポイントを選ぶほうが計算資源もデータ整備コストも小さく済みます。第二に、 小さいモデルでも大きなモデルに匹敵する推論力が出せる 可能性。1.5Bという比較的小さなモデルでSOTAを達成しており、エッジデバイスや低コスト運用での応用余地があります。第三に、 ​「AIに何を教えるか」の設計思想の転換 です。プロンプト設計やRAG（検索拡張生成）の世界でも、「関連情報を詰め込む」より「最小十分な知識単位を選ぶ」という発想が今後広がる可能性があります。

社内で独自AIを育てる際、ドキュメントを全部流し込むより、「本当に必要な知識片だけを慎重に選ぶ」ほうが効率も精度も上がる——そういう実務的教訓にも繋がる研究です。