RT-2
Brohan(DeepMind)2023 · 論文
一行要約 — RT-2はロボットの行動をテキストトークンとして表現し、大規模な視覚言語モデルをウェブ規模の視覚言語データとロボットの軌跡の両方で共同ファインチューニングすることで、インターネット知識をロボット制御に転移させ、「視覚-言語-行動(VLA)」モデルという用語を生み出した。
問題
従来のロボット学習はデータを大量に必要とし、脆弱である: 最も高性能な言語モデルと視覚言語モデルは、ウェブから得られた数十億のトークンと画像で学習されているが、この量に近いロボットデータが近い将来に揃う可能性は低い。LLM/VLMをロボティクスに取り込む先行の試みは、それらを主に高レベルの計画者として用い、コマンドを別個の低レベルコントローラが実行するプリミティブへと解析するものであり、これはウェブ知識から一切利益を得られない。RT-2は問う: 大規模な事前学習済み視覚言語モデルを低レベルのロボット制御に直接統合することで、汎化を高め、創発的な意味的推論を可能にできるか、と。
手法とアーキテクチャ
- バックボーン: 2つの事前学習済みVLMがVLAへと適応される——PaLI-X(5Bと55B)とPaLM-E(12B)であり、それぞれRT-2-PaLI-XとRT-2-PaLM-Eとなる。両者は画像とテキストを受け取り、トークン系列を出力する; 新しいパラメータや行動ヘッドは追加されない。
- テキストトークンとしての行動: 行動空間はエンドエフェクタの6自由度の位置・回転変位、グリッパーの伸展、そして離散的なエピソード終了コマンドである。連続する各次元は256個の均一なビンに離散化され、行動は8個の整数として連結された単一の文字列となる:
例: "1 128 91 241 5 101 127"。PaLI-Xでは、1000までの整数にはすでに一意なトークンが存在する; PaLM-Eでは、最も使用頻度の低い256個のトークンが行動トークンとして上書きされる(シンボルチューニングの一形態)。ロボットデータはVQA形式にキャストされる: 「Q: ロボットが[指示]をするには、どのような行動を取るべきか? A:」 に続いて行動文字列が続く。
- 共同ファインチューニング: 主要な学習レシピである——VLMは、元のウェブ規模の視覚言語タスク(VQA、キャプション付け、画像とテキストが交互になった系列)とRT-1のロボットデモンストレーション(オフィス・キッチン環境で17ヶ月にわたる13台のロボット)の混合でファインチューニングされ、バッチごとにロボットデータの重みが増やされる。これにより、ロボットデータで上書きするのではなく、ウェブの概念が保持される。
- 制約付きデコーディング: ロボットタスクでプロンプトが与えられた際は、サンプリングは有効な行動トークンに制限される; 視覚言語タスクでは全語彙が利用可能なままである。
- リアルタイム推論: モデルはネットワーク経由で問い合わせられるマルチTPUクラウドサービスで動作する——55Bモデルは1〜3Hz、5Bモデルは約5Hzである——当時、直接的な閉ループロボット制御に用いられた中で最大のモデルであり、それも一桁以上の差がある。
- Chain-of-Thought変種: RT-2-PaLM-Eは、「Plan:」ステップ(例: 「Instruction: I’m hungry. Plan: pick rxbar chocolate. Action: 1 128 124 136 121 158 111 255」)で拡張されたデータで数百ステップファインチューニングされ、視覚的推論と行動生成を橋渡しする。
実験結果
7自由度の移動操作ロボットで約6,000回の実ロボット試行にわたって評価される:
- 既知タスク対汎化: 200以上の既知の指示ではRT-2はRT-1と同程度の性能だが、280以上の未見の物体/背景/環境タスクでは、両方のRT-2構成がRT-1とMOOのおおよそ2倍、その他のベースライン(VC-1、R3M)のおおよそ6倍の成功率を平均で示す。
- 創発的能力(記号理解、推論、人間の認識——ロボットデータには一切存在しない): RT-2-PaLI-X-55Bは平均**60%**の成功率を示す(RT-1の17%、VC-1の11%に対して)——約3倍の改善である; RT-2-PaLM-E-12Bは平均40%だが、数学的な推論ではより強い。
- アブレーション: ゼロから学習すると、5Bであっても非常に性能が悪い; 共同ファインチューニングはすべてのサイズでロボットのみのファインチューニングを上回る; 55Bは5Bより汎化性能が良い。
- Language-Table(オープンソースのシミュレーション): RT-2-PaLI-3Bは90 ± 10を記録する(RT-1の74 ± 13、LAVAの77 ± 4、BC-Zeroの72 ± 3に対して)。
- 限界: 新しい動作は創発しない——物理的なスキルはロボットデータの分布内に留まる; ウェブ知識はスキルがどのように展開されるかを変えるが、どのスキルが存在するかは変えない。
SLAMにおける意義
RT-2は、OpenVLA、NaVILA、WorldVLA、そしてそれに続くほとんどのロボット基盤モデルが採用した、トークンとしての行動というVLAパラダイムを確立し、ウェブ規模の事前学習が具現化された制御へ真に転移することを示した。SLAM研究者にとっては、Spatial AI時代の中心的な未解決の問いを枠付ける: ウェブ知識がポリシーを新しい物体に汎化させるのと同様に、SLAM式の空間知識(計量マップ、持続的なジオメトリ)を同じ方法で注入して、新しい環境と長期的なナビゲーションへの汎化を実現できるだろうか?