#31 ナンセンスがAIを賢くする不思議な話

最近の大規模言語モデル（LLM）の推論力アップには、GRPO という強化学習手法が広く使われています。GRPO は「同じ問題に複数回答えさせて、相対的な良し悪しから学ぶ」仕組みなのですが、​難しすぎる問題ではすべての試行が間違えることが起きます。すると「相対的な良し悪し」が消滅して、学習信号がゼロになってしまう（=ゼロアドバンテージ問題）。これは貴重な計算資源と訓練データの無駄遣いです。

単純に「もっと回数を増やしてサンプリングする」という対策もありますが、現状のモデルにとってその問題が難しすぎる場合、何度試しても結局当たらない。​別の探索の仕方が必要だったのです。

著者らが目をつけたのは、デザイン業界でおなじみの「ロレム・イプサム​（Lorem Ipsum）」 — 印刷物のレイアウト確認に使う、ラテン語風の意味のないダミー文章です。

具体的には、AI が問題を解けなかった時、​問題文の前にランダムに組み立てたロレム・イプサム文を貼り付けて、もう一度解かせるだけ。たったこれだけです。

なぜこれが効くのか？ 著者らの仮説は「プロンプト（入力文）を意味のない文で揺さぶると、AI の出力分布が少しズレて、​今までと違う推論経路が開ける」というもの。一方、よくある「温度パラメータを上げて出力にランダム性を加える」手法（ロジット空間の摂動）は、同じ思考の枠内でブレるだけで、新しい道筋を開かない。

実際、ベン図で比較すると、ロレム・イプサム法は高温サンプリングが解けない難問を 50問独自に正解 していました。つまり、​意味のないノイズだからこそ、本筋を壊さず思考を別方向に開けるわけです。

3つのモデル（Qwen3-1.7B、Qwen3-4B、Qwen2.5-Math-7B）で数学ベンチマークを試した結果、通常の GRPO に対して平均で +2.79点〜+6.20点 の改善。特に大きいのは Qwen2.5-Math-7B での +6.20点​（47.68→53.88）。

さらに興味深いのは、​ただプロンプトを変えずにサンプリング数を増やしただけだと、むしろ性能が下がるケースもあったこと。単純な「数で押す」戦略の限界が示されています。

また、他のランダム文を試した結果、​​「ラテン語風で、かつパープレキシティ（モデルにとっての意外度）が低い」摂動が一番効く ことが分かりました。逆に、語彙からランダムにトークンを引っ張ってきた完全ノイズはむしろ性能を下げた。​​「ほどよく意味不明」がスイートスポットなのです。

この研究の面白さは、「LLM の訓練効率を、ほぼコストゼロのトリックで上げられる」ことを示した点にあります。

ビジネス的に見ると、強化学習による LLM の訓練は GPU 時間が膨大にかかる工程です。ゼロアドバンテージ問題で計算資源が無駄になると、それだけ訓練コストが膨れ上がる。プロンプトに数百トークンのダミー文を加えるだけでこの無駄を救えるなら、​訓練コストの削減と最終性能の向上を同時に実現できるわけで、AI を自社で訓練・チューニングする企業には直接効く話です。

もうひとつ、より深い示唆として「AI の挙動はプロンプトの『内容』だけでなく『文脈の揺らぎ』に強く影響される」ことが改めて確認された点も重要です。プロンプトエンジニアリングの実務でも、意味のあるヒントを加えるだけでなく、文脈そのものを揺さぶる発想が新しいテクニックを生むかもしれません。

そして何より、「ナンセンスな文字列を加えるとAIが賢くなる」という結果自体が、AI が言語をどう処理しているかについての我々の直感を揺さぶります。AI は人間とは違う論理空間で動いているという事実を、わかりやすい形で見せてくれる研究です。