#49 AIが文書を「grep」で直接探す検索術

AIが大量の文書を「検索エンジン」ではなく、プログラマーがコードを探すときのように シェルコマンド（grepなど）で直接ガサガサ探す ことで答えを見つける——その振る舞いを小型AIに学習させることを実現した研究です。

ChatGPTのようなAIに難しい質問をすると、外部の文書を「検索」して答えを補強する仕組み（RAGと呼ばれます）が一般的です。この検索は通常、あらかじめ全文書を「索引（インデックス）」化しておき、質問に近い文書を上位数件返す方式です。

ところがこの方式には弱点があります。索引を作るには膨大な計算とメモリが必要で、しかも文書を一定サイズに切り分けて固定するため、「ピンポイントで一行だけ欲しい」といった細かい検索が苦手です。さらに、似た名前の別人を混同したり、複数の文書をたどる「多段推論」でつまずいたりします。そこで「索引を作らず、生のテキストを直接探せないか」という発想が生まれました。

GrepSeekは、エンジニアがおなじみの grep（テキスト検索コマンド）を使い、AIに 文書の山を直接コマンドで掘らせる アプローチです。論文ではこれを「直接コーパス操作（DCI）」と呼びます。

似た先行研究もありますが、それらはClaudeのような巨大な商用AIに指示を出すだけで、1問に1時間かかることもありました。GrepSeekの新しさは、これを 小型AIに「技能」として学習させた 点です。

学習は2段階です。まず「教師役（Tutor）」が正解を知った上で、答えから逆算して正しい検索手順を作ります。次に「計画役（Planner）」が、答えを見ずに「現場のAIならこう探すだろう」という自然な思考過程を再現します。この組み合わせで「答えを盗み見ない、リアルな検索の手本」を大量生成し、それで訓練後、強化学習でさらに磨きます。

加えて、コーパスを分割して並列処理する実行エンジンも開発しました。

7種類の質問応答ベンチマークで検証した結果、GrepSeekは7つ中4つ（特に複数文書をたどる「多段推論」課題）で最高スコアを記録し、3つで統計的に有意な改善を示しました。化学式や固有名詞など、意味検索が苦手な「正確な文字列一致」で特に強さを発揮しました。

効率面も顕著です。索引を持つ従来方式が70〜221GBのメモリを必要としたのに対し、GrepSeekは生コーパスと同じ 14GBのみ。索引作成も最大62時間（GPU換算）かかっていたのが 約1分 に。並列実行エンジンは検索を最大 7.6倍 高速化し、1問あたり約8.6秒で回答できます。

一方、つづりのアクセント記号の違いなど「表記ゆれ」には弱く、PopQAという長尾エンティティのデータセットでは負けています。

この研究のビジネス的なツボは「重い索引作りなしで、生データに直接AIを向けられる」点です。

通常、社内文書や大量のドキュメントをAIに検索させるには、ベクトル化して索引データベースを構築する初期投資（計算コスト・メモリ・運用）が重くのしかかります。文書が更新されるたびに索引も作り直しが必要です。GrepSeekの方式なら、テキストファイルさえあればすぐ動き、メモリも生データ分で済み、更新にも強い。中小規模の社内ナレッジ検索や、頻繁に内容が変わる文書群への適用で、コスト面の魅力は大きいでしょう。

さらに「AIがどんなコマンドで何を探したか」がそのまま見えるため、​検索過程が説明可能 という利点もあります。ブラックボックスになりがちなAI検索において、監査や信頼性が問われる業務では見逃せない特性です。著者らは将来、意味検索と組み合わせた「いいとこ取り」も目指しており、実用的な選択肢が一つ増えたと言えます。