#53 ずっと聞いて先回りする音声AIの正体

いまの音声AI（大規模音声言語モデル）には共通の弱点があります。それは「録音が終わってから、まとめて1回答える」という仕組みであること。これは画像AIの設計をそのまま音声に流用したもので、本来リアルタイムで流れ続ける音の性質と合っていません。

さらに、リアルタイムで動く音声モデルは存在しますが、それぞれが「音声認識専用」「会話専用」と、1つの機能しかこなせません。たとえば高性能な会話モデルでも、相手のためらいの沈黙や、咳の音を聞き取ることはできない。つまり「リアルタイム」と「何でもこなす賢さ」が両立していなかったのです。

この研究の核心は、音を 0.4秒ごとの小さなかたまり に分けて連続的に受け取り、そのたびに「黙って聞き続けるか／いま反応するか」を判断する仕組みです。著者たちはこれを「知覚→判断→応答」のループと呼びます。人間が会話中、相手の話を聞きながら「まだ続きがありそうだから待とう」「いまだ、返事しよう」と自然にやっていることを、AIにやらせるわけです。

うまいのは、翻訳・認識・対話といった従来バラバラだった機能を、すべて「指示（インストラクション）」として1つのモデルに統一した点。「中国語に訳して」と言えば同時通訳になり、「聞こえたものを説明して」と言えば環境音の実況になる。

これを支えるのが3つの工夫です。①短い音声クリップを違和感なくつなぎ合わせて長い会話データを作る技術、②「いつ黙るべきか」を学ばせる訓練、③音の取り込みと返答生成を切り離して待ち時間を 4.5倍 短縮した処理方式。さらに、260万件・30万時間という巨大な訓練データ「StreamAudio-2M」も自前で構築しました。

まず、リアルタイム化しても賢さが落ちていません。標準的な音声理解テスト（MMAU）では 58.15点 と、元になった同規模モデルをわずかに上回り、2倍以上のサイズの大型モデルにも匹敵しました。英中翻訳では元モデルから BLEU値で15ポイント以上 改善しています。

注目は、従来モデルにはできなかった新機能です。指示がなくても危険を察知して自発的に警告する能力を測る独自テストでは 61〜63点 を獲得し、競合モデルを上回りました。また、音声を5つ連結した長い流れでも、単独時の 9割以上 の精度を保った一方、比較対象のモデルは 30%以上 性能が崩れました。

この技術が描く未来は「常時オンの音声アシスタント」です。論文の実例が分かりやすい。たとえば家庭で、子どもの泣き声に「誰か泣いていますが、何かありましたか？」と反応し、ドアのノック音に「来客のようです」と知らせ、油がはねる音に「気をつけて、油がはねていそうです」と警告し、最後にガラスの割れる音で「ガラスが割れた音がしました。怪我に注意、破片に気をつけて」と即座に対応する——これらすべてを1つのモデルが、音だけを手がかりにやってのけます。

ビジネス的に見れば、これは介護・見守り・工場の安全監視・運転中のサポートなど、「人がずっと耳を澄ませていなければならない現場」を代替できる可能性を示しています。従来は機能ごとに別々のシステムを組む必要がありましたが、それが1台で済む。スマートスピーカーが「呼びかけられてから答える存在」から「状況を察して先回りする存在」へと変わる転換点になるかもしれません。