#14 たった2ビットでAIの脳を破壊する攻撃

ディープラーニングモデルの数十億個あるパラメータのうち、たった1〜2ビットの符号を反転させるだけで、画像認識から大規模言語モデル（LLM）まで壊滅的に機能不全に陥らせられることを示した研究。しかも攻撃者は訓練データも推論実行も必要としない。

AIモデルは自動運転、医療診断、金融など、ミスが許されない領域に広がっています。これに対する攻撃研究はこれまで主に「入力を細工する」タイプ（標識にステッカーを貼るなど）が中心でした。一方で「モデルの重みを直接書き換える」タイプの攻撃も研究されてきましたが、従来手法は 訓練データへのアクセス や モデルを何度も実行しての最適化計算 が必要で、現実的な脅威としては限定的でした。

本研究が投げかける問いはシンプルです。「もし攻撃者がストレージ上のモデルファイルに書き込みできるとき、最低どれくらいの手数で壊せるのか？」。答えは、想像以上に少なくて済む、というものでした。

著者らの手法「Deep Neural Lesion（DNL、深層ニューラル損傷）」は、驚くほどシンプルです。

現代のAIは、パラメータを32ビットの浮動小数点数で保存しており、その先頭1ビットが 符号ビット​（プラスかマイナスかを決める）です。ここを反転させれば、重みが瞬時に正反対の値になります。

DNLの戦略は3つのルールに集約されます。

1. 絶対値の大きい重みを狙う：刈り込み（プルーニング）研究の知見の逆を突き、最も影響力のある大きな重みを狙う
2. ネットワークの入口に近い層を狙う：初期層の畳み込みフィルタ（例：エッジ検出器）は、後続の全層に影響が伝播する。視覚で言えば「網膜を壊すと全視野が失われる」のと同じ発想
3. CNNでは1カーネルにつき1ビットまで：同じフィルタ内で2回反転させると、2つの誤差が打ち消し合って攻撃が弱まるため

さらに強力な「1P-DNL」版では、ランダムな入力でたった1回だけ順伝播・逆伝播して勾配情報を得ることで、より正確に「急所」を特定します。いずれも 訓練データ不要、反復最適化不要 という画期的な軽量性を実現しています。

結果は衝撃的です。

• 画像認識：ImageNetで学習したResNet-50の精度を、たった 2ビット 反転で 99.8% 低下
• 物体検出：Mask R-CNNのバックボーンに 1ビット 反転するだけで、COCOのmAP（平均精度）がほぼゼロに
• 推論LLM：Qwen3-30B-A3B-Thinking（Mixture-of-Experts型の300億パラメータモデル）で、​2ビット 反転するだけで数学問題の正解率が78%から0%に崩壊。出力は「I am a student. I am a student...」のような意味不明な繰り返しに
• 48種類のImageNet学習済みモデルで評価したところ、​10ビット以内の反転で43モデルが60%以上の精度低下

一方、ランダムに10万ビット反転させても精度はほぼ下がらず、「急所」が極めて局在していることが分かります。

この研究が示すのは、​AIシステムのセキュリティリスクが、従来考えられていたより桁違いに低コストで実現しうる という事実です。

想定される攻撃経路は、モデルファイルへの書き込みアクセスを取る経路すべてです。ルートキット、ファームウェアの脆弱性、DMA攻撃（Thunderboltなど外部機器経由）、そして有名な Rowhammer攻撃​（メモリの隣接セルを高速アクセスしてビットを物理的に反転させる手法）などが挙げられています。従来の攻撃手法は「モデルを何度も実行して勾配を計算する」必要があったため、実行中に検知されるリスクがありました。DNLは事前にオフラインで攻撃対象を特定できるため、​圧倒的にステルス性が高い のです。

ビジネス的な含意は深刻です。自動運転車、医療AI、金融AIといったクリティカルな用途で、モデルファイルの改ざん検知が従来以上に重要になります。防御策として著者らは、「最も危険な上位0.001%〜1%の重みだけ」を誤り訂正符号（ECC）や多重化で保護すれば、攻撃コストを大幅に引き上げられることも示しています。全体を守る必要はなく、​急所だけ守れば実用的な防御になる という示唆は、運用面で非常に現実的です。