NaVILA
Cheng 2024 · 論文
一行要約 — NaVILAは、視覚-言語-行動のパラダイムをテーブルトップの操作から脚式ロボットのナビゲーションへと拡張し、中間レベルの行動を自然言語で出力する視覚言語モデルと、それを実行するRL歩行ポリシーを組み合わせることで、ロボットが実際の3D環境の中で言語指示に従って移動できるようにする。
問題
脚式ロボットによる視覚言語ナビゲーション(VLN)は二重の意味で魅力的である: 言語は人間がロボットに指示を出す柔軟な手段であり、脚は車輪型のベースでは通行できない困難で混雑したシーンを走破できる。しかし、人間の指示を関節レベルの制御まで変換するのは難しい——操作型のVLAは低レベルのコマンドをトークンに量子化するが、LLM/VLMは自然言語で学習されているため、精密で非言語的な行動を出力させることは、事前学習で獲得した推論能力そのものに負荷をかける。NaVILAは、言語自体がより良い行動表現であるかを問う。
手法とアーキテクチャ
- 2段階のフレームワーク: VILAベースのVLMが意味的な指示追従を担当し、言語で表現された中間レベルの行動を出力する——例えば「右に30度回転」「75cm前進」——一方、別個の低レベル視覚歩行ポリシーがそれらをリアルタイムで関節の動きに変換する。VLAは低頻度で動作し、歩行ポリシーはリアルタイムで動作して障害物回避とバランスを吸収する。
- VLM(高レベル): VILAの画像エンコーダ → MLPプロジェクタ → LLMで、SFT中はすべて固定されない。ナビゲーションプロンプトは、最新のフレーム(「現在の観測」)を、一様にサンプリングされた以前のフレーム(メモリバンクとしての「過去の観測の動画」)と区別する。これには新しい特殊トークンではなくテキストによる手がかりを用いる; 8〜64フレームが使用される。正規表現パーサがLLMの出力から行動の種類とその引数(距離/角度)を抽出する——実験上、出力された行動は例外なく正しく解析された。
- SFTデータの構成: (1) R2R-CEとRxR-CEからの、最短経路フォロワーによるシミュレートされたナビゲーション。連続する行動は統合され(最大3つまで、例えば2つの25cmステップ→1つの50cmステップ)、停止行動の再バランスも行われる; (2) 実際の人間による見学動画——2Kの一人称視点YouTube動画を2万本の軌跡にサンプリングし、行動はMASt3Rによる計量カメラ姿勢推定で復元され、指示はVLMによるキャプション生成とLLMによる言い換えで生成される(連続的な設定で人間の動画から直接ナビゲーションを学習した最初の研究); (3) 補助タスク——EnvDropで拡張された指示、軌跡の要約、ScanQAの3D質問応答; (4) 世界知識を保持するための一般的なVQA。
- 歩行ポリシー(低レベル): 離散的なコマンドは速度コマンド にキャストされ、VLAが示した距離/角度に一致する時間だけ実行される。単一段階のPPOポリシー(教師-生徒蒸留なし)がUnitree Go2の脚モータに対して目標関節位置 を出力する。批評家は特権的な地形高さスキャンを見るが、行動器は実世界で利用可能な固有受容感覚の履歴と、LiDAR点群から構築された2.5D高さマップ(Unitree L1、360°×90° 視野角、直近5スキャンの最大値フィルタ)のみを見る——LiDARはガラスや強い日差しなど、深度/RGBが失敗する状況に対応する。Isaac Labでのレイキャスティングにより、RTX 4090で6万FPSを超える学習スループットが得られる。
- VLN-CE-Isaacベンチマーク: Habitat式のテレポートするエージェントではなく、フルフィジックスの関節レベルの実行を評価する、1,077本の通行可能なR2R Val-Unseen軌跡を持つ新しいIsaac Simベンチマーク。
実験結果
- VLN-CEベンチマーク(Val-Unseen): R2R-CEにおいてNaVILAは単一視点RGBのみを用いてSR 54.0 / SPL 49.0 / NE 5.22に達し、これは従来の単一視点SoTAであるNaVid(SR 37.0)に対して約17%のSR改善であり、パノラマ、深度、オドメトリ、シミュレータで事前学習されたウェイポイント予測器を用いる手法と同等かそれ以上である; RxR-CEではSR 49.3 / SPL 44.0 / nDTW 58.8を記録する。
- クロスデータセットのゼロショット(R2Rのみで学習し、RxR Val-Unseenでテスト): SR 34.3 に対し、NaVidは23.8である。
- シーン理解: ScanQAの検証セットにおいて、NaVILA(64フレーム)はCIDEr 102.7に達し、従来のVLA SoTAであるNaviLLMの75.9を上回る。これはスキャンや姿勢付きRGB-Dを必要とする3D LMMをも上回っている。
- 歩行: 蒸留ベースのROAと比較して、線形/角速度誤差は0.161/0.152から0.066/0.113に低下し、衝突率は3.09から0.81に低下する。
- VLN-CE-Isaac: 視覚ベースのポリシーは、盲目(固有受容感覚のみ)のポリシーをGo2でSR 14%(50.2 対 36.2)、H1ヒューマノイドで21%(45.3 対 24.4)上回り、オラクル実行の上限(51.3)に近づく。
- 実世界: 作業場、住宅、屋外のシーンで25の指示×3回の試行を行い、NaVILAは**成功率88%**を達成する(複雑な複数部屋にわたる指示では75%)。これはGPT-4oベースラインを上回る; 同じVLAは、カメラの高さと視野角が異なるにもかかわらず、再学習なしでBooster T1ヒューマノイドを操作する。
SLAMにおける意義
NaVILAは、古典的なSLAMベースのナビゲーションスタックに対する基盤モデルの挑戦の具体例である: 明示的なマップ構築後に計画を行うパイプラインを、その「マップ」がメモリフレームのバンクである、指示条件付きポリシーに置き換える。同時に、その設計はジオメトリがどこでまだ有効かも示している——MASt3Rの姿勢推定が人間の動画学習データにラベル付けを行い、LiDAR高さマップがロボットの安全を保ち、計量的な位置推定と持続的なマップはVLAの意味的な指示追従を補完する; VLAにSLAMに基づく空間的なメモリを与えるハイブリッドシステムは、活発な研究方向である。