#64 AIは「もう1回」考えるのが一番賢い

最近のAIには「同じ計算ブロックを何度も繰り返し使うことで、頭の中で何度も考え直す（推論を深める）」という技術があります。これを「ループ型AI」と呼びます。ただし普通にループを増やすと、考える回数に比例して処理時間とメモリ使用量がふくらみ、実用にならないという弱点がありました。

そこで登場したのが「並列ループ（PLT）」という仕組みで、ループを増やしてもコストがほぼ一定で済むようになりました。すると今度は新たな問い、「では結局、何回ループさせるのが一番賢くなるのか？」が浮上します。本研究はこの「最適な回数」を、ただ試すのではなく内部を観察して見極めようとしました。

この研究の核心は「ループを1回増やすことには、得（refinement gain）と損（offset cost）の両方がある」という視点です。

得とは、もう一度考え直すことで答えがより洗練されること。損とは、PLTが並列計算を可能にするために使う「位置をひとつズラす」トリック（CLP）が、毎回必ず生む「ズレのコスト」です。たとえるなら、隣の人のメモを見ながら自分の答えを書き直すようなもので、便利だけれど微妙な食い違いが必ず残ります。

研究チームは7B（70億パラメータ）規模のコード生成AIを、ループ回数を1〜4回に変えて 18兆トークン という膨大なデータでゼロから訓練。そして「隠れ状態の変化」「注意の向き方の変化」「出力予測の変化」という3つの“のぞき窓”でループごとの中身を観察しました。3つすべてが一致したときだけ「本当に意味のある処理が行われた」と判定する慎重な手法です。

結果は明快で、しかも意外でした。ループを1回増やした「2回モデル」は、ループなしの基準モデルから大きく性能が向上。代表的なソフトウェア修正テスト「SWE-bench Verified」では 43.0% から 64.4% へ跳ね上がり、自社の7Bモデルが30B〜72B、さらには480B級の巨大モデルに匹敵する水準に達しました。

ところがループを3回、4回と増やすと性能はむしろ悪化し、SWE-benchは27.6%まで低下。内部を見ると、得（洗練効果）は2回目で頂点を迎えた後に急激にしぼむのに対し、損（ズレのコスト）はほぼ一定のまま残り続けます。3回目以降は損が得を 30〜45倍 も上回り、無駄が支配的になっていました。

「AIは計算リソースを注げば注ぐほど賢くなる」と思われがちですが、この研究は「やりすぎは逆効果になりうる」ことを実データで示しました。これはAI運用のコスト設計に直結する話です。

たとえば自社でAIを動かす際、ループ回数のような“ひねり”を最大にすれば良いわけではなく、最適点を見極めれば計算コストを抑えつつ性能を最大化できます。本研究は「効果的ランク（表現の多様性）がまだ上昇中なら追加ループに価値があり、下がり始めたら打ち止め」という、総当たりテストなしで判断できる軽量な目安まで提示しています。

さらに興味深いのは、AIが内部で考える「裏の思考（潜在ループ）」と、文章で考えを書き出す「表の思考（明示的な思考過程）」が補い合う関係にあると示した点です。両方を組み合わせると、片方ずつの効果の足し算を超える相乗効果が出ました。AIの“賢さ”を引き出すには、量より組み合わせの妙が鍵になりそうです。