#76 AIを毎回呼ばない、その処理をアプリに焼き込む

プログラミングには、はっきりしたルールで書けるもの（数字の並べ替え、計算など）と、書けないものがあります。「大量のログの中から本当に大事な一行だけを見つける」「壊れたJSONデータを修復する」「検索結果を意図順に並べる」といった作業は、人間なら直感的にできるのに、明確なルールに落とし込もうとすると例外だらけで破綻します。

こうした「曖昧な処理（fuzzy function）」を、最近の開発者はChatGPTのような外部AIに丸投げしています。便利ですが、毎回通信料がかかり、提供元がモデルをこっそり変えると結果も変わって再現性が失われ、ソフトが自己完結できません。この不便を解消するのが本研究の狙いです。

核心は「一度だけ重い作業をして、あとは軽く使い回す」という発想です。著者たちはこれを Program-as-Weights（PAW、重みとしてのプログラム）​ と名付けました。

例えるなら、料理の「レシピ」ではなく「特製の調理器具」を作るイメージです。従来は入力が来るたびに大きなAIに「これを処理して」とお願いしていました（毎回シェフを呼ぶ）。PAWでは、やりたいことを自然言語で書くと、クラウド上の大きなAI（コンパイラ、40億パラメータ）が、その処理専用の小さな「部品」を一度だけ生成します。

この部品は2つの部分でできています。ひとつは 人間が読める説明文 （元の指示を綺麗に言い直したもの＋いくつかの例）。もうひとつは LoRA（ローラ）​ と呼ばれる、小さなAIの振る舞いを微調整する数値のかたまりです。あとは手元の超小型AI（6億パラメータのインタープリタ）にこの部品を差し込むだけで、専用処理が動きます。部品は約23MBの1ファイルで、保存・バージョン管理・配布ができ、オフラインで呼び出せます。

驚くのは効率です。6億パラメータの小型AIがPAWの部品を使うと、正解率 73.78% を達成し、これは50倍以上大きい320億パラメータのAIに直接お願いした場合（ 68.70% ）を上回りました。しかも使うメモリは約50分の1（約1.2GB対約60GB）です。

実用面では、量子化（データ圧縮）した状態でMacBook M3上で毎秒 30トークン の速度で動作し、共有される基盤部分は約430MB、処理ごとの部品はわずか23MBで済みます。さらに、指示文にタイプミスや曖昧さが混じっても性能はほとんど落ちませんでした（重いノイズでも数%程度の低下）。これは、コンパイラが汚い指示を綺麗に整えてから小型AIに渡す仕組みが効いているためです。

この研究は「大きなAIは作る側、小さなAIは実行する側」という役割分担の未来を示しています。ビジネスの現場でAIを使うとき、多くの企業が悩むのが「API利用料が積み重なる」「通信が必要で機密データを外に出したくない」「提供元の仕様変更で挙動が突然変わる」という3点です。PAWはこれらを一気に解決する可能性があります。

一度コンパイルすれば、あとは自社のPCやスマホ、ブラウザ内で完全にオフライン・無料で動きます。医療や金融のように情報を外に出せない業界、通信環境の悪い現場、大量処理でコストがかさむ用途で特に威力を発揮しそうです。論文では、ログ監視、サイト内検索、意図に基づくナビゲーション、ツール呼び出し（15種のタスクで93%）、多言語の言葉当てゲームなど5つの実例が示されています。「AIを毎回呼ぶほどでもないが、ルールでは書けない」という日常の細かな処理こそ、この手法の主戦場です。