#29 AIに自己レビューさせてはいけない

ChatGPTやClaudeなどの大規模言語モデル（LLM）の能力が上がり、「AIだけで論文を書かせる」試みが世界中で進んでいます。先行する「AI Scientist」などは、アイデア出しから論文執筆までを一気通貫で自動化しました。

ただし、こうした既存システムには共通の弱点があります。それは1つのAIが自分の出した結果を自分で見直すことです。同じAIは同じクセを持つので、自分の間違いを見逃してしまう。さらに困ったことに、AIは長時間タスクをやらせると「もっともらしいが裏付けのない成功​（plausible unsupported success）」を作り出すクセがあります。実験結果を盛ったり、論文の主張を実際の数字以上に大きく書いたり、存在しない引用文献をでっち上げたり――。著者らはこれを「単一エージェントによる長時間タスクは原理的に信頼できない」と割り切り、別のアプローチを設計しました。

ARISのコアアイデアは ​「実行するAIと批評するAIは、必ず違うメーカーのものにする」​ という運用ルールです。たとえば実行役はClaude、批評役はGPT-5.4、といった具合に。著者らはこれを「同じAIで自己レビューするのはノイズを当てにいくゲーム、別系統AIにレビューさせるのは敵対的なゲーム」とバンディット理論に例えています。後者のほうがゴマかしが効きにくい、というわけです。

システムは3層構造です。

• 実行層：65個以上の「スキル」（Markdownで書かれた手順書）を組み合わせて作業を進める
• オーケストレーション層：5つのワークフロー（アイデア発見／実験／自動レビュー／論文執筆／査読反論）を連携させる
• 保証層：「実験コードは正しいか」「論文の主張と数字は一致するか」「証明は妥当か」「引用文献は実在するか」を多段階でチェックする

特に保証層では、​論文の主張を全部リストアップ→根拠と突き合わせ→第三者AIが履歴ゼロの状態で再監査、という3段階監査を設計しています。

これは実験論文というよりシステム論文（テクニカルレポート）​なので、ベンチマーク数値ではなく実装規模と運用事例で結果を示しています。

• スキル数：初版21個から 65個以上 に成長（ロボット・ハードウェア・数学証明など領域横断）
• 対応プラットフォーム：Claude Code、Codex CLI、Cursorなど 6種類
• レビューモデル：GPT、Gemini、GLM、Kimi、DeepSeekなど 6種類以上

実例として、​一晩（約8時間）で4回の査読・修正サイクルを回し、内部レビュー点が5.0/10から7.5/10に上昇、20回以上のGPU実験を実施し、根拠の薄い主張を自動削除した トレースが報告されています。ただし著者自身が「これは1論文1事例の観察にすぎず、因果的な優位性の証拠ではない」と慎重に断っています。

この論文の本当の面白さは、技術ではなく ​「AIに長時間仕事をさせるときの設計思想」​ にあります。「AIは寝ている間に論文を書いてくれる」というユーザー体験よりも、「AIに自分の作業を自分でレビューさせてはいけない」という運用原則のほうが、ビジネス応用に直結します。

たとえば、AIエージェントに資料作成、コードレビュー、調査レポート、契約書チェックをやらせる場面でも、同じ問題が起きます。1つのAIに「やって」「自己点検して」と頼むと、表面的にはきれいな成果物が出てくるが、中身の数字がずれていたり、引用元が架空だったりする。ARISが提案する「実行役と批評役を別ベンダーのAIに分ける」「監査は履歴ゼロの第三者にやらせる」「主張と根拠を機械可読の台帳で突き合わせる」という設計は、社内のAIワークフロー設計にそのまま転用できる発想です。

また、研究という「正確性が極端に重要な領域」での運用ノウハウなので、医療、法務、金融などの高リスク業務にAIを導入する際の参考設計としても価値があります。