#30 AIがAIを鍛える、文書理解の新しいレシピ

長く専門的な文書を読ませると AI が苦手とする「文脈から学ぶ」能力を、人間の手作業もテストデータも使わず、AI 同士の自己対戦で「使えるスキル集」に蒸留する技術を実現した研究。

ChatGPT などの大規模言語モデル（LLM）は、事前学習で覚えた知識を使う問題には強い反面、「初見の社内マニュアル」「最新の臨床ガイドライン」「新製品のドキュメント」など、​学習時に存在しなかった知識を文脈から読み取って使うタスクは依然として苦手です。研究者たちはこれを「コンテキスト学習」と呼んでいます。

直感的な解決策は、文書から「ルールや手順」を自然言語の スキル として抜き出し、推論時に AI に渡すこと。ただこれには2つの壁がありました。(1) 専門的で長い文書を人間が読み込んでスキル化するコストが高すぎる、(2) コーディングや数学と違い、抽出したスキルが正しいかを自動判定する手段がない（正解がない）。

著者らが提案する Ctx2Skill は、人手も外部の正解データも使わず、AI 同士の「自己対戦」でスキルを育てる仕組みです。

登場するのは5体の AI エージェント：

• 挑戦者（Challenger）​：文脈を読み、難しい問題と採点基準を作る
• 解答者（Reasoner）​：手元のスキル集を頼りに問題を解く
• 審判（Judge）​：採点基準に照らして合否を判定する
• 提案者（Proposer）と生成者（Generator）​：失敗事例を分析し、スキル集を書き換える

ポイントは 両者が「モデルの重み」ではなく「自然言語のスキル集」を更新して進化する こと。解答者が失敗すれば「文脈のここを取りこぼしている」と診断してスキルを追加し、簡単に解かれてしまった問題側（挑戦者）はもっと難しい問題を作るよう自分のスキルを強化する。

さらに、対戦が過熱すると挑戦者が極端な問題ばかり作り、解答者のスキルが偏ってしまう「敵対的崩壊」を防ぐため、​Cross-time Replay（時間横断リプレイ）​ という仕組みを導入。各反復で集めた「最も難しい失敗例」と「最も簡単な成功例」の両方をバランス良く解けるスキルセットを最終的に選びます。

ベンチマーク CL-bench（500の文脈、約1900タスク）で評価したところ、Ctx2Skill のスキルを付与するだけで：

• GPT-4.1：11.1% → 16.5%（+5.4ポイント）
• GPT-5.1：21.1% → 25.8%（+4.6ポイント）
• GPT-5.2：18.2% → 21.4%（+3.2ポイント）

さらに興味深いのは、​Ctx2Skill のスキルを得た GPT-4.1（16.5%）が、スキルなしの上位モデル Gemini 3 Pro（15.8%）を上回った こと。つまり「良いスキル集」が「より高性能なモデル」に匹敵する効果を持つことを示しています。スキルの可読性・忠実性を別の評価軸で測っても、従来手法を上回る結果でした。

この研究の面白さは、企業現場に直結する点にあります。社内マニュアル、製品仕様書、契約書、医療ガイドライン、研究論文…どれも「LLM の事前学習に入っていない、長くて専門的な文書」です。RAG（検索拡張生成）で関連箇所を引っ張ってきても、暗黙のルールや手順までは伝わりません。

Ctx2Skill が示したのは、​文書ごとに一度だけ自動でスキル集を作っておけば、その後はどんな質問にも繰り返し使える という方向性。人間の専門家がマニュアルを噛み砕いて FAQ や運用ルールに落とすような作業を、AI 同士の対戦で自動化できる可能性があります。

しかも生成されるスキルは自然言語の Markdown ファイルなので、人間が中身を確認・編集・流用できる点も実用的。クローズドソースの API モデル（GPT、Claude など）にも追加学習なしで使え、「強いモデルが作ったスキルは弱いモデルでも有効」という転移性も示されました。社内ナレッジを AI に「使える形で」覚えさせる現実的なレシピになりそうです。