#56 ベンチマーク満点でも仕事は無理？AIの最終試験

ここ数年、AIは囲碁の世界王者を破り、数学オリンピックで金メダル級、プログラミングコンテストでも好成績を上げてきました。ところが、もっとも大事な「経済効果」という尺度で見ると、その華々しさが現実の産業変革にほとんど結びついていません。著者らはこれを「AIの実用性の問題」と呼びます。

原因は評価方法にあると著者らは指摘します。既存のベンチマークは、短い操作タスクや一問一答形式が中心で、専門家が何日も何週間もかけて取り組む「本物の長丁場の仕事」を測っていません。AIの進歩は「何を測るか」に強く左右されるため、現実の職業ワークフローを測る試験がなければ、現実で使えるAIも育たない。そこでこの研究が生まれました。

最大の特徴は、米国の公式な職業分類（O*NET / SOC 2018）をもとに、製造、金融、法律、医療、半導体設計、3Dアニメ制作など 55の専門分野・13の産業群 を網羅し、1,000を超える本物の業務を集めた点です。しかも課題は架空のシナリオではなく、専門家が「実際に過去にやり遂げた仕事」を提供しています。

そして難しいのが「採点」です。成果物がCADデータだったり、財務スプレッドシートだったり、3Dモデルや動画だったりとバラバラで、従来はどうしても人間の目視判断に頼っていました。この研究は、成果物を「正解ファイルと厳密に比較する」「数値を許容誤差内で照合する」「形状の距離を測る」といった機械が自動で判定できる形に標準化。「AIに『これ正しそう?』と聞く」やり方は原則禁止し、どうしても必要な場合も「画面の左上に丸いマークがあるか?」のような、専門家なら誰でも同じ判断ができる細かいYes/No質問に分解しました。

評価対象は GCUA（汎用コンピュータ操作エージェント）​。マウス操作の画面（GUI）もコマンド入力（CLI）も両方こなす、まさに人間がPCで仕事をするのと同じ環境で試されます。

結論は「現在のAIは、この試験にまるで歯が立たない」でした。最強構成（GPT-5.5を積んだCodex）は、別のターミナル操作ベンチマークでは82%を取る実力者ですが、ALEではもっとも簡単な層でも50%未満、最難関層では10%未満。多くのエージェントは最難関層でほぼ0%でした。最難関タスク全体の完全クリア率は平均でわずか 2.6% です。

興味深いのは失敗の中身です。失敗の約4分の3が「専門知識の不足」や「アプローチの誤り」によるもので、単なる操作ミスではありませんでした。専門知識がないため、AICは本来使うべき専門ソフトを避けて場当たり的なスクリプトでごまかそうとする傾向も見られました。また、性能はAIの「頭脳（基盤モデル）」の差が支配的で、その影響は周辺の作り込みの約3倍に達しました。

この研究が突きつけるのは、「ベンチマークで高得点＝仕事で使える、ではない」という冷徹な現実です。AI導入を検討するビジネスパーソンにとって、これは過度な期待への警鐘であると同時に、判断材料にもなります。

ポイントは、ALEがあえて実在する経済価値のある業務を題材にしていること。著者らの狙いは「もしAIがこの最終試験に合格できたら、それはベンチマーク上の数字が、本物の経済的変革として表れ始める瞬間だ」という点にあります。逆に言えば、今のスコアの低さは「現場の専門職がAIに完全に置き換わるにはまだ遠い」ことを示しています。

さらに実用的なのが「生きたベンチマーク」という設計。課題の約9割を非公開にし、定期的に入れ替えることで、AIが「試験の答えを丸暗記」して攻略するのを防ぎます。新しい業務や産業も継続的に追加されます。自社の業務がAIで自動化できるかを見極めたい人にとって、こうした現実的で汚染されにくい評価軸が業界標準になっていくことは、地に足のついた投資判断につながるはずです。