#70 AIが架空の世界で自分を鍛える時代

近年、AIエージェント（自律的にタスクをこなすAI）の研究は盛んですが、そのほとんどが「次にどんな行動を取るか（policy）」を賢くすることに集中してきました。しかし人間も含め、賢く行動するには「この行動をしたら何が起こるか」を予測する能力、つまり頭の中の「世界モデル」が欠かせません。実際、ある理論研究は「幅広いタスクをこなせるエージェントは、必ず内部に世界モデルを持っているはずだ」と証明しています。ところが、LLM（大規模言語モデル）が動くテキスト環境には、汎用的に「環境の反応」を予測する仕組みがまだありませんでした。この欠けたピースを埋めようとしたのが本研究です。

この研究の核心は、​​「環境のシミュレーター（模擬装置）」をAI自身に作らせたことです。たとえばターミナルにコマンドを打ち込んだら、どんな出力が返ってくるか。Webページのボタンを押したら、次にどんな画面が表示されるか。こうした「行動→結果」をAIが文章として予測します。

対象は7分野（ツール連携・検索・ターミナル・ソフト開発・Android・Web・OS）と幅広く、これを1つのモデルでカバーしました。訓練は3段階で、研究チームはこれを ​「CPTで知識を注入し、SFTで思考を起動し、RLで精度を研ぎ澄ます」​ と表現しています。1000万件以上の実環境とのやり取りデータを使い、最後の強化学習では「予測が現実とどれだけ一致するか」を採点して鍛えます。

さらに面白いのは、AIが予測する前に頭の中で「待てよ、Node.jsが入っていないからサーバーは起動していないはず…」と一歩ずつ因果関係を推論する「思考の連鎖」を働かせる点。まさに人間が結果を想像してから動くのと同じです。

性能評価のため、最先端モデル（Claude Opus 4.8、GPT-5.4など）の実際の動作から「正解データ付き」のベンチマーク（AgentWorldBench）を作りました。結果、Qwen-AgentWorldの大型版（397B）が総合スコアでGPT-5.4を上回りトップに。特にターミナルやソフト開発など、実行結果の正確な予測が必要な分野で優位でした。

応用面ではさらに印象的です。​実際の検索エンジンを使って訓練した場合（F1スコア45.6%）より、AIが作った「架空の世界」で訓練したエージェントのほうが高成績（50.3%）​ を出しました。また、世界モデルの訓練を「準備運動」として与えるだけで、7つのタスクすべてで成績が向上し、訓練データに含まれない分野でも最大11.3ポイントの改善が見られました。

この研究のポイントは「コスト削減のためではなく、現実を超えるため」という発想です。実際の環境でAIを訓練するには、サンドボックスや仮想マシンといった大がかりな設備が必要で、しかも「取り返しのつかない操作」や「公開されていない業務システム」は試せません。世界モデルなら、こうした制約を超えて、医療・法務・金融といった専門領域の環境すら模擬的に作り出せます。

さらに「コントロールできる」のが強みです。わざと通信エラーを起こしたり、わざと情報を一部だけ返したりと、現実ではめったに起きない意地悪な状況を作ってエージェントを鍛えられます。これにより、現実訓練だけでは対応できない「想定外のケース」に強いエージェントが育ちます。

ビジネス的には、業務自動化AIを「安全な仮想空間」で徹底的に鍛えてから本番投入する、という流れが現実味を帯びてきます。失敗が許されない業務ほど、この「予測して試す」アプローチの価値は高まるでしょう。