#65 AIの安全スイッチは裏口から破られる

大規模言語モデル（ChatGPTのようなAI）を安全に使うには、「爆弾の作り方を教えて」といった危険な要求を拒否させる仕組みが必要です。最近注目されているのが「SAE（スパースオートエンコーダ）」という技術で、AIの内部状態を人間が解釈できる「特徴（feature）」に分解してくれます。これにより「この特徴が危険な振る舞いに対応している」と特定し、その特徴をオフにすれば（クランプ＝固定すれば）危険な出力を止められる、と期待されてきました。

しかしこの前提には大きな仮定が隠れています。「危険な特徴を1つ止めれば、その振る舞いは完全に消える」という思い込みです。本当にそうなのか？　もし別ルートで同じ振る舞いが復活するなら、その対策は穴だらけということになります。

著者らが提案したのは「介入後の復活（post-intervention recovery）」という診断テストです。発想がユニークで、「防御をすり抜けて検出を逃れる」のではなく、​すでに防御スイッチが入った状態からスタートします。スイッチは押されたまま、その状態から「元の振る舞いを取り戻せるか？」を問うのです。

ポイントは、ズルをしないルールを課したこと。単にスイッチを無理やり押し戻すのではなく、「止めた特徴には一切触れずに」復活させられるかを検証します。これを実現するため、数学的に「止めた特徴の方向を避ける」よう調整（直交射影と呼ばれる手法）しながら、AIの内部状態にわずかな微調整を加えていきます。複数の階層にまたがる防御の場合は、より高度な追跡手法（ヤコビアン射影）を使います。

例えるなら、「玄関に鍵をかけたから泥棒は入れない」と思っていたら、誰も触っていない裏口から平然と侵入できてしまった、という状況を実証する装置を作ったわけです。

結果は防御側にとって厳しいものでした。4種類の実験すべてで、抑え込んだはずの振る舞いが復活しました。

最も安全性に関わる「拒否の誘導」実験では、危険な要求を拒否させるスイッチを入れたまま、​有効サンプルの95.8%で非拒否の応答を復活させられました。しかも止めた特徴のズレはわずか0.131に抑えられており、「特徴には触れていないのに振る舞いだけ戻った」ことを示します。知識を消す「アンラーニング」実験では98.9%の確率で正解を復活。さらに重要なのは、この復活がどこから来ているかを分析した結果、​SAEが「誤差」として捨てていた残差成分に振る舞いを再現する情報が残っていたと判明したことです。

AIの安全性は今やビジネスの最重要テーマの一つです。企業が「うちのAIは危険な出力を止める仕組みを入れています」と謳うとき、その仕組みが本当に機能しているかは信頼性の根幹に関わります。

この研究が示すのは、「内部の特徴を1つ止めた＝振る舞いを消した」と単純に考えてはいけない、という警告です。SAEは診断やピンポイントの編集には有用ですが、それを唯一の安全装置として過信すると脆い対策になりかねません。重要なのは、AIが「誤差」として扱う部分にも振る舞いを再現できる情報が潜んでいる点で、見える特徴を制御しても安心はできないのです。

ビジネスパーソンにとっての教訓は明快です。AI安全対策を評価するとき、「その対策が振る舞いを抑えたか」だけでなく、「抑えた後も別ルートで復活しないか」まで検証すべきだ、という新しい評価基準を突きつけています。ただし著者自身も「これは内部にアクセスできる白箱の診断であり、すぐ悪用できる攻撃手法ではない」と慎重に断っています。