#68 遊びながら学ぶロボットがやってきた

最近のロボットは、大規模言語モデルを使って「Code-as-Policy（コードとして動作を書く）」という方式で賢く動けるようになりました。指示を受けてプログラムを自動生成し、結果を見て修正する、という人間の試行錯誤に近いことができます。

しかし、ここには大きな弱点がありました。​指示を与えられてから初めて学ぶのです。つまり「受け身」。一方、人間の子どもは、誰かに「これをやれ」と言われる前から、積み木で遊んだり物を握ったりして、自然に身体の使い方を覚えていきます。この「遊びを通じた先取り学習」をロボットにもさせられないか、というのがこの研究の出発点です。

研究チームが作った RATS​（ロボティクス・エージェント・チーム）は、複数のAIが役割分担して「遊ぶ」仕組みです。本番の課題が来る前に、ロボットが自分で「こんなことをやってみよう」と課題を提案し、実際に試し、成功した動きを「スキルの図書館」として保存していきます。

特に面白いのが課題の選び方です。​​「ゴルディロックスの原理」​​（熱すぎず冷たすぎず、ちょうどいいお粥）を使い、簡単すぎず難しすぎない、ちょうど学びがいのある課題を狙って選びます。すでにできることばかりでも成長しないし、不可能なことに挑んでも失敗するだけ。その中間の「あと一歩で届きそう」な課題を優先するのです。

さらに、失敗したときも単に「ダメだった」で終わらせません。各ステップごとに「どこで何を間違えたか」を細かく診断し、「容器の中心に直接動くな、まず上空に移動しろ」といった具体的な教訓を記録。成功した動きは再利用可能なコードとして図書館に登録します。

2つのシミュレーション環境で検証したところ、遊びで覚えたスキルは本番の未知の課題で明確に効果を発揮しました。LIBERO-PRO では成功率が 23.2%から43.8%（＋20.6ポイント）​ に、MolmoSpaces では 21%から38%（＋17ポイント）​ に向上。

興味深いのは「持ち運べる」点です。ある環境で覚えたスキルを、別のシミュレータ（RoboSuite）に持ち込んでも ＋8.9ポイント、実機のロボットでも ＋8.8ポイント の改善が見られました。しかも、土台のAIモデルを再学習させることなく、図書館を差し込むだけでこの効果が出ています。片腕ロボットで練習したスキルが両腕協調作業にまで通用した例もありました。

この研究のポイントは、​​「使う前に準備しておく」という発想です。これまでのAIロボットは、新しい作業のたびにゼロから試行錯誤していました。RATSは、空き時間に勝手に練習してスキルを貯めておき、本番ですぐ使える状態にしておきます。

ビジネス的に注目すべきは、貯めたスキルが​「プラグイン」として他のシステムに差し込めること。高価なモデル再学習をせず、ライブラリを共有するだけで複数のロボットの性能を底上げできる可能性があります。工場や倉庫で、夜間にロボットが自主練習して翌日の作業効率を上げる、といった使い方も将来的に考えられます。

また、論文では「遊びにかける計算コスト」と「本番で試行回数を増やすコスト」を比較し、​同じコストなら遊んで準備しておくほうが効果的だと示しています。これは「事前の自己学習への投資」が報われることを示す結果で、AI活用全般の考え方にも示唆を与えます。