#37 AIは「古い記憶」を捨てられるのか？

ユーザーの状況が変わったとき、AIアシスタントが古い記憶を「もう使えない」と判断できるかを測る初の本格ベンチマーク STALE を構築し、最先端モデルでも正答率55%程度しか出せないことを明らかにした研究。

ChatGPTをはじめとするAIアシスタントが「長期記憶」を持つようになり、ユーザーのことを覚えてくれる時代になりました。しかし現状の評価は「以前話した事実を思い出せるか」という静的なテストばかり。実際の対人関係では「以前言ったことが、その後の発言で暗黙のうちに無効になる」状況が頻繁に起きます。

例えば、半年前に「毎日自転車通勤しています、装備を勧めて」と言った人が、最近「バスケで足を骨折しました」と話したとします。後者の発言は自転車について一言も触れていませんが、「自転車通勤のプラン作って」と頼まれたとき、AIは自転車ではなく代替手段を提案すべきです。こうした「明示的に否定されないまま、古い記憶が事実上無効になる」状況を従来のベンチマークは扱えていませんでした。

著者らはこの問題を ​「暗黙的コンフリクト（Implicit Conflict）」​ と名付け、2種類に整理しました。

• Type I（同じ属性の上書き）​: 「シアトル在住」→「ポートランドで賃貸契約した」のように、同じ属性（居住地）の値が暗黙に変わるケース。
• Type II（連鎖的無効化）​: 足の骨折（健康状態の変化）が、自転車通勤という別属性の前提を崩すケース。こちらは「常識による因果の連鎖」を辿る必要があり遥かに難しい。

評価は 3つの角度 から行います。

1. 状態認識（SR）​: 「ユーザーはまだ自転車通勤していますか？」と直接聞く
2. 前提抵抗（PR）​: 「自転車通勤してるユーザーにメンテプランを」と古い前提を含んだ依頼に騙されないか
3. 暗黙の方針適応（IPA）​: 「今週の通勤プラン作って」と何気なく頼まれたときに、骨折を踏まえた提案ができるか

400シナリオ×3問＝1,200問、文脈は最大15万トークン（小説1冊分相当）という設計です。

15個のモデル・メモリフレームワークを評価した結果、 最強の Gemini-3.1-pro でも総合正答率55.2% にとどまりました。主な発見は3つ。

• ​「気づく」と「行動する」は別物: Qwen3.5-27Bは「もう自転車通勤してませんよね？」には76%正解できるのに、実際の通勤プラン作成（IPA）では39%まで落ちる。
• 古い前提を含む依頼に弱い: Gemini-3.1-proですらPR次元では30%まで急落。ユーザーが古い前提で質問すると、それを疑わず従ってしまう。
• 連鎖型（Type II）は特に難しい: 全モデルでType Iより明確に低スコア。
• 既存メモリ機構は意外と無力: メモリ拡張フレームワーク5つを試したが、ほとんどが素のLLMより低い結果に。著者らの提案手法 CUPMEM は 68.0% まで引き上げた。

この研究が突きつけているのは、 ​「AIが記憶を持つ」ことと「記憶を正しく更新できる」ことは全く別物 という現実です。

企業のカスタマーサポート、ヘルスケアアシスタント、社内ナレッジ管理など、AIに長期記憶を持たせる応用が急速に広がっています。しかし「半年前は東京勤務だったお客様が大阪に転勤した」「以前ベジタリアンだったユーザーが食生活を変えた」といった変化を AI が捉えそこねれば、的外れな提案やコンプライアンス違反すら起こりかねません。

特に怖いのは ​「ユーザー自身が古い前提で質問してきたとき」の弱さ です。実務では、ユーザーは自分の状況変化を毎回前置きしてくれません。AIが「その前提、もう成立してませんよね？」と気づける能力は、信頼できるアシスタントの必須条件と言えます。

著者らの提案する CUPMEM の発想 —— 新情報が来た時点で「古い記憶のどれが無効になったか」を能動的に判定し、必要なら「不明扱い」にしておく —— は、業務システムへのAI組み込みを設計する人にとって示唆に富みます。「記憶を貯める」より「記憶を整理・棚卸しする」仕組みこそが鍵です。