#72 AIの「考え」は本物か?思考を測る4つのものさし

最近のLLM（大規模言語モデル）は、答えを出す前に「ステップ・バイ・ステップで考える」ようになりました。最初はその思考を言葉（文章）で書き出していましたが、効率化のため、言葉ではなく「数値ベクトル（連続的な内部表現）」のまま頭の中で考える手法が増えています。

ところが問題は、これらの「頭の中の思考」が良いものかどうかを、ほぼ全員が「最終的な問題の正解率」だけで判断していたことです。これだと、AIが間違えたとき「思考の中身が悪かったのか、それとも思考は良かったが答えに変換する部分が悪かったのか」が区別できません。思考そのものの質を、正解率に頼らず直接測る方法が存在しなかったのです。

著者らは「まともな思考表現が満たすべき条件」を4つの公理（守るべき原則）として定義しました。料理にたとえると、味見だけでなく「材料・手順・衛生」を個別にチェックする検査基準を作ったイメージです。

4つはこうです。​因果性​（その思考が、本来の考えと同じ結論を導けるか）、​最小性​（無関係なノイズを捨て、必要な情報だけ残しているか。たとえば「天気の話」が混ざっていても計算問題には使わない）、​分離性​（違う問題はちゃんと別物として区別できるか）、​安定性​（「4です」も「答えは4」も同じ意味だと分かり、迷っているときは迷いを表現できるか）。

画期的なのは、それぞれに「再学習なしで、正解率とは無関係に直接測れる数値ものさし」を用意した点です。これにより、思考表現を「結果」ではなく「物そのもの」として検査できるようになりました。

5つのオープンなLLM（小型から70B規模、推論特化型や強化学習型まで）を、23種類の難しい推論タスクで検査した結果は厳しいものでした。

まず、​4つの公理をすべて同時に満たす思考表現は一つもありませんでした。さらに衝撃的なのは、思考表現は「タスクの種類（計算問題か医療質問か）」は見分けられるのに、「同じタスク内の別々の問題」をほとんど区別できなかったこと。同一タスク内での識別精度は約50〜55%と、ほぼ「あてずっぽう（50%）」並みでした。

そして最も痛烈なのは、これらの手の込んだ思考表現が、​ただ入力文をそのまま埋め込んだだけのもの（入力埋め込み）を、どの指標でも安定して上回れなかったこと。つまり「考えた分の上乗せ情報」がほとんど見られなかったのです。この傾向はモデルの大きさや訓練方法に関係なく一貫していました。

AIの「推論能力」はいま最も注目される性能で、各社がしのぎを削っています。しかしこの研究は「ベンチマークの点数が高い＝中身もしっかり考えている、とは限らない」という不都合な真実を突きつけます。点数が良くても、内部では同じタスクの2問の区別すらできていない、いわば“見かけ倒しの思考”が起きている可能性があるのです。

ビジネス的に重要なのは、AIを業務に組み込むとき「正解率」という一枚看板だけで判断する危うさが示された点です。たとえば法務や医療など、答えだけでなく「なぜその答えか」という思考過程の信頼性が問われる場面では、こうした内部検査が効いてきます。

さらにこの4つのものさしは、単なる批判の道具ではありません。今後AIの思考を改良する際の「明確な改善目標」になります。「正解率が下がったのは4つのうちどの性質が原因か」を切り分けて診断できるため、闇雲な改良から脱却し、原因を特定した上での開発が可能になります。