#35 AIをチームで動かすと小型モデルが化ける

複数のAIエージェントを「解答役」「検証役」「経験記録役」「戦略記録役」などに役割分担させ、過去の試行錯誤を整理して次に活かす仕組みで、難問の推論精度を継続的に伸ばし続けるフレームワークを実現した研究。

ChatGPTのような大規模言語モデル（LLM）の推論能力を上げる方法として、最近注目されているのが「テスト時スケーリング（Test-Time Scaling）」です。これは、AIが答えを出すときに、より多くの計算時間や試行回数を与えて、じっくり考えさせるアプローチです。

ところが、難しい数学オリンピックレベルの問題になると、ただ「長く考えさせる」「たくさん答えを出させて多数決を取る」だけでは限界があります。最近は複数の解答を並行して出し、検証して直すという「verify-refine」型の手法も登場していますが、​解答どうしが連携せず、せっかくの試行錯誤が次に活かされないという問題がありました。逆に過去の履歴をすべて参照すると、ノイズが多すぎて判断が鈍ります。「何を覚え、何を捨てるか」が課題だったのです。

TMASの肝は、AIに ​「役割分担した5人のチーム」​ で問題を解かせる発想です。

• 解答エージェント: 解答案を複数並行で生成
• 検証エージェント: 各解答を独立に何度もチェック
• 要約エージェント: 検証結果を整理
• 経験エージェント: 信頼できる「途中結論」や「具体的なミスのパターン」を経験バンクに蓄積
• ガイドラインエージェント: 試した「大まかな解法戦略」をガイドラインバンクに記録

ポイントは、記憶を 2階層に分けた こと。経験バンクは「この補題は正しい」「この計算ミスを避けよ」という低レベルの具体情報を 再利用する ために、ガイドラインバンクは「この方針はもう試した」という高レベルの戦略を 避ける（重複探索を防ぐ）​ ために使います。つまり「使うべき記憶」と「繰り返さないための記憶」を切り分けたわけです。

さらに、強化学習（RL）で「正解する力」「経験を活かす力」「新しい戦略を探す力」の3つを同時に鍛える ハイブリッド報酬 も設計しました。

国際数学オリンピック級の難問ベンチマーク「IMO-AnswerBench-50」と「HLE-Math-100」で評価。Qwen3-30B モデルを使ったとき、19回の繰り返し推論後にIMO問題で 40.5% の正答率を達成し、既存手法（RSEの38.0%、PaCoReの30.3%）を上回りました。

特に印象的なのは小型の4Bモデルへの効果です。ハイブリッド報酬での強化学習を組み合わせると、4Bモデルが17.1% → 30.9% へと約1.8倍に向上。30Bモデルとの差を 約59%縮める ことができました。さらに、通常のRL（正解報酬のみ）では後半に性能が劣化するのに対し、ハイブリッド報酬では繰り返すほど安定して伸び続けたのも重要な発見です。

この研究は「AIに使う計算リソースをどう配分すれば賢くなるか」という、ビジネス的にも重要な問いに一つの答えを示しています。

第一に、​小型モデルでも大型モデルに迫れる という結果は、コスト面で大きな意味があります。4Bモデルが30Bモデルに肉薄できるなら、自社運用や省コスト推論の選択肢が広がります。

第二に、「役割分担＋記憶の整理」という考え方は、AIエージェントを業務に組み込む際の設計指針になります。たとえば法務レビューや投資分析、コンサルティング業務のように、調査→検証→振り返り→再検討を繰り返す仕事では、「何を覚え、何を捨て、何を試したか」を構造的に管理する仕組みが効きます。これは人間のチーム運営にも通じる発想です。

第三に、「正解だけを報酬にしない」訓練方針は、AIを単なる答え当てマシンではなく、​探索と活用のバランスを取れる存在に育てる 方向性を示しています。創造性が求められる業務でAIを使う未来に向けた重要な一歩といえます。