#62 質問を待たないAI、見て・判断して・自分から話す

世の中には「AIに一番助けてほしい瞬間に、誰もそれを頼む暇がない」状況があふれています。幼児がコンロに近づく、防犯カメラに火の手が映る、ライブ配信で欲しい商品が一瞬で流れる――こうした瞬間は、聞かれてから答えるAIには間に合いません。

今のAIは、ChatGPTもGeminiもDoubaoも、基本は「ターン制（turn-based）」です。つまり話しかけられて初めて目を開ける設計で、原理的に「今この瞬間」を見続けることができません。一見リアルタイムに見えるビデオ通話アプリも、内部では数秒おきに問い合わせを投げる仕組みで、その間隔より早くは反応できないのです。

この研究の核心はシンプルです。​​「いつ話すか」をAI自身が1秒ごとに学習して判断すること。しかも「黙っている」ことを、話す・処理を任せると並ぶ立派な選択肢の一つとして扱います。

AIは毎秒、映像を見て3つのうち1つを選びます。①黙って見続ける、②話す、③難しすぎる問題を裏方の大型AIに丸投げする（delegate）。例えるなら、現場に常駐するベテランの警備員のようなもの。普段は黙って監視し、異変があれば即座に声を上げ、自分の手に余る難題は本部に無線で照会しつつ、その間も現場から目を離さない、という動きです。

これを実現するため、映像の1秒1秒に「この瞬間はどう行動すべきか」のラベルを付けた400万本超の学習データを作成。さらに映像を効率的に圧縮する技術（AdaCodec）で、変化の少ない場面は1秒あたり約16トークンしか使わず、長時間でも処理コストが膨らまないよう工夫しています。音声認識や読み上げは「差し替え可能な部品」として外に置き、AIの本体は視覚判断に集中させました。

人間の評価者が、同じ映像を使ってDoubaoとGeminiのビデオ通話機能と直接比較しました。結果、JoyAI-VL-Interactionは Doubao相手に77.6%、Gemini相手に87.9% の勝率を記録（引き分け・負けを除く勝ちの割合）。

特に強かったのが時間が命の場面です。​​「監視・警告」では両者相手に全勝（100%）​、リアルタイム翻訳やカウントでも一度も負けませんでした。人が倒れた瞬間に即警告を出す一方、Doubaoは4〜5秒遅れ、Geminiは「監視できない」と回答。注目すべきは、わずか80億パラメータ（8B）という小型モデルが、数十〜数百倍大きいモデルを「タイミング」という一点で上回ったことです。

これは単に「優秀なビデオアシスタント」が出来たという話に留まりません。人とAIの関わり方が「依頼して待つ」から「一緒に見て動く」へと変わる可能性を示しています。

ビジネス現場を想像してみてください。工場ラインの異常を即座に知らせる目、店舗の防犯を24時間見守る存在、ライブコマースで流れる商品を逐次解説するアシスタント。さらに本研究で面白いのは、​学習していない能力が勝手に現れた点です。スマホ画面を切り替えながら買い物を案内したり、スライドを見て即興で講義したり――教えていないのに「見て寄り添う」汎用スキルを獲得していました。

そして見逃せないのが、モデル・学習レシピ・データ・システム一式をすべてオープンソースで公開する点。誰でも自分の業務に合わせて常駐型AIを構築できます。視覚障害者の「目」、AIグラスでの翻訳、高齢者の見守りなど、これまで「AIには難しい」とされた領域が一気に現実味を帯びてきます。