OpenVLA
Kim 2024 · 論文
一行要約 — OpenVLAは、Open X-Embodimentからの97万件の実世界ロボットデモンストレーションで学習された70億パラメータのオープンソース視覚-言語-行動モデルであり、はるかに大きな非公開のVLAに匹敵するか、それを上回りながら、コンシューマ向けGPUでも効率的にファインチューニングできる。
問題
インターネット規模の視覚言語データと多様なロボットデモンストレーションで事前学習された大規模なポリシーは、ロボットに新しい行動を教える手段として——新しい行動をゼロから学習する代わりに汎用的な視覚-言語-行動(VLA)モデルをファインチューニングするという——新しい方法を約束していた。しかし、その普及は2つの点で妨げられていた——既存のVLA(RT-2など)はほとんどが非公開で、アーキテクチャ、学習手順、データ構成への可視性が限られていたこと、そして先行研究は実用上重要なステップである、コモディティハードウェア上での新しいタスクへの効率的なファインチューニング方法を探求していなかったことである。OpenVLAはこの両方の障壁を取り除くことを目指した。
手法とアーキテクチャ
- バックボーン: Prismatic-7B VLM——(1) 約6億パラメータのデュアル画像エンコーダで、各画像パッチが事前学習済みのSigLIP(意味的、テキストに整合)とDINOv2(低レベルの空間的特徴)の両方を通過し、その特徴ベクトルがチャネル方向に連結される; (2) LLMの埋め込み空間への2層のMLPプロジェクタ; (3) Llama 2 7B言語バックボーンである。Prismatic自体はLLaVA-1.5のデータ構成(約100万サンプル)でチューニングされている。
- トークンとしての行動: 次元の連続的な行動の各次元は個別に256個のビンに離散化され、個の整数 を得る; ビンの幅は、学習用行動の第1パーセンタイルと第99パーセンタイルの間を均等に分割する(外れ値が粒度を破壊しないよう、RT-2のmin-max境界とは異なる方式)。Llamaのトークナイザは特殊トークンを100個しか確保していないため、最も使用頻度の低い256個のトークンが行動トークンとして上書きされる。学習は、行動トークンのみに対する標準的な次トークン交差エントロピーを最小化する。
- 学習データ: Open X-Embodiment(70以上のデータセット、200万件以上の生の軌跡)からキュレーションされた97万件の軌跡で、少なくとも1台の第三者視点カメラを持つ単一アーム・エンドエフェクタ制御の操作タスクにフィルタリングされ、Octoのデータ混合ヒューリスティクスで再重み付けされている(DROIDは10%の重みで試験されたが、行動トークンの精度が一貫して低いため、学習の最後の3分の1では除外された)。
- 実験的に見出された設計上の決定: 画像エンコーダのファインチューニングはVLAの性能に決定的に重要である(VLMの通例とは対照的である); 224×224px入力は384×384と同等の性能を、3倍少ない計算量で達成する; VLAの学習には多くのエポックが必要である——最終的な実行では、行動トークンの精度が95%を超えるまで27エポックを要する; 学習率は2e-5に固定される。
- インフラ: 64基のA100で14日間学習される(21,500 A100時間、バッチ2048); 推論はbfloat16で15GBを要し、RTX 4090で約6Hzで動作する; リモート推論サーバーがロボットへ行動をストリーミングする。
- 効率的な適応: LoRAがすべての線形層に対して低ランクの更新を学習し(ランク で十分)、int4量子化によるサービングはメモリを半減させる——両方が第一級の貢献として研究されている。
実験結果
- 既製の汎用制御: WidowX(BridgeData V2、手法ごとに170回のロールアウト)における29タスクと、Googleロボットにおける60回のロールアウトで、OpenVLAは非公開の550億パラメータのRT-2-Xを、パラメータ数が7分の1でありながら**成功率で16.5%(絶対値)**上回り、BridgeData V2のすべてのカテゴリで(意味的一般化を除いて)これを上回る(RT-2-Xはウェブデータで共同ファインチューニングされているが、OpenVLAはそうしていない)。RT-1-XとOctoは大きく後れを取る。
- 新しいロボットへのファインチューニング(Franka-Tabletop 5Hz、Franka-DROID 15Hz、タスクごとに10〜150のデモ): ファインチューニングされたOpenVLAは最高の総合性能を達成し、テストされたすべてのタスクで成功率50%を超える唯一の手法である; 平均で、ゼロから学習したDiffusion Policyを**20.4%**上回る。Diffusion Policyが優位性を保つのは、限定的な単一指示の巧緻タスクのみである。
- パラメータ効率の良いファインチューニング: LoRA r=32はパラメータの1.4%(97.6M対7,188M)のみを学習しながら68.2 ± 7.5%に達する(フルファインチューニングの69.7 ± 7.2%に対して)——単一のA100で10〜15時間、8倍の計算量削減である。
- 量子化推論: int4は7.0GB対16.8GBのVRAMで71.9 ± 4.7%を得る(bfloat16の71.3 ± 4.8%に対して); int8は1.2Hzの推論が5Hzのコントローラ動作を破壊するため58.1%に低下する。
- すべてのモデルチェックポイント、ファインチューニング用ノートブック、PyTorchの学習コードベース(FSDP、FlashAttention、HuggingFace統合)が公開されている。
SLAMにおける意義
OpenVLAは参照実装となるオープンVLAであり、それに続く多くのロボット学習研究の基盤モデルであって、70億パラメータのオープンモデルがはるかに大きな非公開システムを上回れることを示した。SLAMコミュニティにとっては2つの意味で重要である: SigLIP/DINOv2式の基盤特徴をロボット知覚バックボーンとして妥当性を示したこと、そして新興の自律性スタックにおける行動側を定義したこと——SLAMが位置推定と計量マップを提供し、VLAが知覚と言語から物理的な行動へのループを閉じる、という構図である。