#59 壊れた画像をAIが自分で直して理解する時代

画像とテキストの両方を扱えるAI（マルチモーダルLLM）は、写真の内容を説明したり質問に答えたりする能力で大きく進化しました。しかし弱点があります。現実の写真にはノイズ、圧縮による画質の荒れ、雨や霧、暗さなどの「劣化」が付きもので、こうした崩れた画像を渡すと、AIの正答率が急激に落ちてしまうのです。

これまでの対策は2種類ありました。一つは「劣化画像ときれいな画像の特徴を近づける」やり方ですが、中身がブラックボックスで何をしているか分かりません。もう一つは「この画像はノイズで暗い」と文章で状況を説明させる方法ですが、文章では失われたピクセルの細部までは取り戻せません。そこで本研究は「AI自身が画像を修復できないか？」という根本的な問いに挑みました。

核心は、AIに「壊れた画像を自分できれいに描き直す（自己修復）」能力を与え、その復元画像を見ながら答えさせる点です。人間でいえば、ぼやけた写真を見て「たぶんこういう景色だ」と頭の中で鮮明に思い描いてから判断するイメージです。

仕組みは3段階。​第1段階では、大量の「劣化画像→きれいな画像」のペアを学習させ、復元の基礎力を身につけさせます。​第2段階は「強化学習」で品質を磨きます。ここがうまく、2種類の採点基準を使います。一つは「ピクセルの構造がどれだけ元画像に近いか」（SSIM）、もう一つは「意味・内容がどれだけ一致しているか」（CLIP）。見た目の正確さと意味の正しさを両立させるわけです。​第3段階では、元の壊れた画像と復元した画像の両方を見比べながら推論し、答えを出すよう訓練します。壊れた元画像も残すことで、復元時の「描きすぎ（捏造）」に惑わされにくくしています。

現実の劣化を集めたベンチマーク「R-Bench」で、総合スコアは 0.7398 に達し、既存の頑健化AI「Robust-R1」の 0.5017 や、ベースモデルBAGELの 0.5770 を大きく上回りました。特に劣化が激しくなるほど差が広がります。

注目は劣化への「粘り強さ」です。あるVQAテストでは、画像をきれいな状態から100%劣化させても精度低下はわずか 1.57ポイント にとどまり、比較対象の3.44ポイント、6.06ポイント低下より明らかに安定していました。さらに分析で、単に「見た目がきれい」になるだけでは推論は良くならず、「意味を保った復元」になって初めて理解力が跳ね上がること（PSNRはほぼ横ばいでも正答率が約0.13向上）が示されました。

この研究が示すのは、「AIに完璧な入力を与えなければ使えない」という前提を崩せる可能性です。現実のカメラ映像は、夜間・悪天候・通信圧縮などで必ず劣化します。自動運転で前方車両の進行方向を読み取る、防犯カメラで状況を把握する、医療画像でノイズを越えて所見を読む——こうした「条件が悪くても間違えられない」場面ほど、自己修復の価値は高まります。

論文の事例では、激しいブレのある交差点画像から「左折矢印が点灯していない」ことを正しく判定したり、暗くて荒れた写真からバスの台数を正確に数えたりと、人間でも迷う状況で正答しています。

一方で実用面の課題も正直に書かれています。復元処理は計算が重く、標準モデルが1.8秒で答えるところを本手法は55秒かかります。ただ「劣化を検知した時だけ修復する」簡易版なら約24秒で大半の性能を回復でき、用途に応じた使い分けが現実的だと示されています。「安全が最優先か、速度が優先か」を選べる設計思想は、実装を考える人にとって示唆に富みます。