#12 AIはまだゲーム初心者にも勝てない

ChatGPTやClaudeに代表されるマルチモーダルAI（画像も理解できるAI）は、静止画の質問応答なら得意になってきました。しかし「画面を見ながら操作し、ミスを挽回しながら長時間プレイする」という能力は、実世界で働くAIエージェントに不可欠にもかかわらず、うまく測れていませんでした。

既存のゲーム評価にはいくつか問題がありました。(1) AIごとに操作インターフェースがバラバラ（あるAIは「座標(x,y)をクリック」、別のAIは「右に進む」というレベルで出力）、(2) 推論に2秒かかるモデルは、その間にキャラが穴に落ちてしまい「頭の良さ」ではなく「反応速度」で差がついてしまう、(3) 成否の判定がOCRや別のAIによる曖昧な判断に頼っており、結果が再現しにくい——といった問題です。

GameWorldは3つの工夫でこれを解決しました。

①「ゲームを一時停止できるサンドボックス」​：AIが考えている間、ゲーム側を止められる仕組み。これによって「反応の速さ」ではなく「判断の質」だけを純粋に測れます。逆に実際の遅延も測りたい時は停止しないモードも用意。

② 2種類のインターフェースを共通の土俵に乗せる：キーボード・マウスを直接操作する「コンピュータ操作型（CUA）」と、「右に移動」「ジャンプ」のような意味単位で動く「汎用型」を、共通の原子イベント（マウス移動、キー押下など）に翻訳する仕組みを作りました。これによりGPT-5とClaude、Geminiなど異なるAIを同じ条件で比較できます。

③ ゲーム内部の状態から直接スコアを読み取る：従来は画面を画像認識してスコアを推定していましたが、GameWorldはゲームのJavaScript内部変数（コイン数、進行度、残機など233項目）を直接取得。「なんとなく成功っぽい」ではなく、機械的に正解・不正解が決まります。

34ゲーム・170タスクで、GPT-5.2、Claude-Sonnet-4.6、Gemini-3、Qwen3-VLなど18通りのAIを評価した結果、​最高性能のGemini-3-Flash-Previewでもタスクの進捗度は 41.9%、完全クリア率は 21.2% にとどまりました。

対して人間は、ルールも知らない初心者でも進捗度 64.1%・クリア率 55.3%、熟練者は 82.6%・77.1% を達成。​AIと人間初心者の間にすら大きなギャップがある ことが分かります。

また、ゲームの種類別に見ると、AIは「パズル的な戦略思考」や「即時反応系」は比較的得意なものの、​タイミングの基礎制御、空間ナビゲーション、長期的な目標管理 が苦手。特にMinecraftのような資源収集ゲームでは「惜しいところまで行くが最後まで詰め切れない」という失敗パターンが頻発しました。

この研究が示しているのは、「文章を書いたり画像を説明したりは得意なAIでも、​画面を見て判断し、操作し、失敗を修正しながら目標達成する 能力はまだ人間初心者以下」という現実です。

これは、RPA（業務自動化）、カスタマーサポートの自動画面操作、自律型PC操作エージェント（いわゆる「コンピュータを使うAI」）のビジネス応用に直結します。OpenAIやAnthropicが進める「Computer Use」系の機能は、まさにこの「画面を見て操作する」能力が鍵で、GameWorldはそれを残酷なまでに正直に測る物差しになります。

また興味深いのは、​​「記憶を長く持たせると、汎用型AIはやや賢くなるが、低レベル操作型AIは逆に性能が落ちる」​ という発見。過去の操作履歴が意味情報なしで溜まっていくと、かえってノイズになるのです。これはAIエージェント設計において「記憶は多ければ多いほど良い」という素朴な想定に警鐘を鳴らします。企業がAIエージェントを導入する際、どのインターフェース設計を選ぶかで最適なアーキテクチャが変わることを示唆しています。