#58 変わり続ける環境でAIは古い記憶に縛られる

ChatGPTのようなAIを「自分で作業を進めるエージェント」として使う動きが広がっています。ウェブ操作、ターミナル（コマンド画面）での作業、ソフト開発、個人秘書など、活躍の場は様々です。

ところが、こうしたAIの「賢さ」を測るテストのほとんどは、​一度作ったら中身が固定された静止画のような環境で行われてきました。現実はそうではありません。仕事で使うツールはバージョンアップし、社内ルールは更新され、コードは書き換わり、ユーザーの好みも変わります。

つまり「昨日まで正解だったやり方が、今日は間違いになる」のが現実です。AIが本当に頼れるかどうかは、こうした継続的な変化についていけるかで決まります。この当たり前に重要な能力が、これまでほとんど測られてこなかったのです。

この研究は2つの新しいものを作りました。

ひとつは EvoArena という「変化に強いAIを試す試験会場」です。同じ目的の作業を、少しずつ条件を変えながら何段階も連続して出題します。たとえば「HTMLファイルをサーバーに公開する」という目的は変えずに、公開の手順、保存先フォルダ、権限ルール、使うブランチ名などを段階ごとに変えていく、といった具合です。

もうひとつが本命の EvoMem​（エボメム）という記憶のしくみ。従来のAIの記憶は「最新の状態だけを上書き保存」していました。これだと新しい情報が古い情報を消してしまい、「なぜ変わったのか」「昔のルールはまだ有効なのか」が分からなくなります。

EvoMemは、プログラマーが使う Git（変更履歴を全部残す仕組み）​ を真似ています。記憶を更新するたびに「変更前・変更後・なぜ変えたか・その根拠」をセットで記録。普段は最新の記憶で動き、過去の経緯が必要な場面だけ履歴をさかのぼって参照する、という賢い使い分けをします。

まず分かったのは、​最新の強力なAIでも変化する環境はかなり苦手だということ。EvoArena全体での正解率は平均39.6%にとどまりました。さらに「一連の変化すべてを最後まで間違えずにやり遂げる」連鎖単位の評価では、もっと成績が下がります。1問ずつ解けても、変化の流れ全体で信頼できるとは限らないのです。

そこにEvoMemを足すと、成績が一貫して向上しました。EvoArenaで平均1.5%、変化の流れ全体を問う連鎖単位の評価では3.7%の改善。さらに、変化を前提としていない一般的なテスト（GAIA、LoCoMo）でもそれぞれ6.1%、4.8%の改善が見られました。とくに「好みが時間とともにどう変わったか」を追う問題で効果が大きく、必要な証拠をきちんと記憶に残せていることが確認されました。

これは「AIを実務に任せられるか」という、まさにビジネスの核心に関わる話です。

社内システムは更新され、業務マニュアルは改訂され、APIや仕様は変わり続けます。もしAIが「3バージョン前のルール」で動いてしまったら、それは静かに進行する事故になりかねません。この研究は、そうした AIの「うっかり時代遅れ」を見つけ出すための健康診断 を用意したと言えます。

EvoMemの「変更履歴を残す」発想も実務的に重要です。AIがなぜその判断をしたのか、どの情報を根拠にしたのかを後から追跡できる。​説明責任や監査が求められる業務​（金融、法務、システム運用など）で、AIの行動を検証する手がかりになります。一方で論文自身も、長期記憶には個人情報が残りうるため、プライバシー管理が必要だと注意を促しています。

「最新だけ覚えればいい」のではなく「変わってきた歴史ごと覚える」——これが信頼できるAI運用の鍵だ、という指摘は、AI導入を考える人すべてに関わる視点です。