#9 AIの「検算」が100分の1のデータで賢くなった理由

AIが数学の問題を解く際に、各ステップが正しいかどうかを ​「自分でも考えながら」検証する仕組み を、従来の100分の1のデータ量で実現した研究。

AIに難しい数学や推論問題を解かせるとき、「答えを何パターンも出させて、一番良さそうなものを選ぶ」というアプローチが有効です。この「選ぶ」役を担うのが プロセス報酬モデル（PRM）​ ——いわば「採点係AI」です。ところが従来の採点係AIは、数十万ステップ分の「この解き方は正しい・間違い」という人手のラベルが必要で、構築コストが非常に高いのが問題でした。一方、汎用のAIにそのまま「この解答を採点して」と頼む（LLM-as-a-Judge）方法もありますが、推論の誤りを見逃しやすく、無限ループや考えすぎで止まらなくなるなど、信頼性に課題がありました。

ThinkPRM の核心は、「採点係AI自身にも長く考えさせる」という発想です。従来の採点係AIは、解答を読んで即座に○×のスコアを出す「一瞬の直感型」でした。ThinkPRM は違います。解答の各ステップについて 自分自身で検算の思考過程（Chain-of-Thought）を文章として書き出し 、その上で正誤を判断します。いわば「答案を読んで、自分でも途中計算をやり直してから丸つけする先生」のようなものです。

具体的には、すでに推論能力が高い「考えるAI」（DeepSeek-R1の蒸留モデルなど）をベースに、わずか 1,000件の合成検証データ で微調整します。合成データは、QwQ-32Bという推論モデルに解答を検証させ、その出力のうち正解ラベルと一致する高品質なものだけをフィルタリングして作ります。14Bモデルの微調整は A100 GPU 1台で約1.5時間 と極めて軽量です。

ThinkPRM-14B は、約 8,000ステップ分のラベル（従来の約1%）​ だけで学習したにもかかわらず、71万ステップ以上で学習した従来型の採点係AIを上回りました。ProcessBench（検証精度を測るベンチマーク）では、F1スコアで 最大86.5% を達成し、同じベースモデルのLLM-as-a-Judge（70.3%）を大きく凌駕。さらに、数学だけで学習したのに、科学問題（GPQA-Diamond物理）で 8% 、コード生成（LiveCodeBench）で 4.5% と、専門外の領域でも従来型を上回る汎化性能を示しました。1.5Bという小型モデルでも、7〜8Bの既存PRMを 7%以上 上回るなど、サイズ効率も際立ちます。

この研究のインパクトは大きく3つあります。第一に、 AIの推論品質を安く高められる こと。数学・コーディング・科学的推論など、AIが「考えて答える」場面は急増していますが、その品質管理には膨大なコストがかかっていました。ThinkPRM は必要な教師データを100分の1に減らし、この壁を大幅に下げます。

第二に、 ​「必要に応じて検証に時間をかける」柔軟性 です。簡単な問題はサッと確認し、難問にはじっくり考える——人間の自然な行動と同じことをAIにもさせられます。検証トークン数を増やすほど精度が上がる「スケーラブルな検算」が実現されています。

第三に、 ビジネスでの信頼性向上 。AIが法務文書のチェックや財務計算を行う場面で、「検算の根拠を言語化できるAI」は、結果だけ出す従来型より格段に透明性が高く、導入のハードルを下げるでしょう。