LEGS
Yu 2024 · 論文
一行要約 — Language-Embedded Gaussian Splats: 移動ロボットが走行中にオンラインで、スケール条件付きCLIP特徴フィールドを持つ室内スケールの3DGSマップを段階的に構築し、LERFのオープン語彙クエリの成功率に匹敵しつつ、学習速度は3.5倍速い。
問題
意味的3Dマップは「オフィス、倉庫、店舗、住宅で目的の物体を探す」のに有用だが、言語埋め込み3Dの基準手法であるLERFは、あらかじめすべての姿勢が分かっているオフラインのシーン単位NeRF最適化を必要とする(LangSplatも同様で、まず全画像に対してシーン固有のオートエンコーダを学習させなければならない)。ロボットが必要とするのはその逆のワークフローである: 未見の環境(本論文では750平方フィート以上)を走行しながら意味マップを構築し、カメラが棚や壁にほぼ平行に走る制約された軌跡、蓄積する姿勢ドリフトのもとで、即座にクエリに答える必要がある。点群ベースの手法(ConceptFusion、CLIP-Fields)は各点に単一の特徴を融合するため、LERFのスケール条件付きフィールドが提供する物体対部分のマルチスケール推論を失ってしまう。
手法とアーキテクチャ
前方向きRGB-D Realsense D455と2台の側方向きZED 2ステレオカメラ(既知の外部パラメータ)を備えたFetchロボット。処理はRTX 4090を2枚搭載したデスクトップにストリーミングされる(1枚はLEGS学習用、約15 GB、もう1枚はDROID-SLAM用、最大18 GB):
- 多眼カメラによる再構成: オフラインSfMはほとんど重なりのない側方カメラの登録に失敗するため、DROID-SLAMが片方のZEDストリームをオンラインでトラッキングし、マウントのCADによる外部パラメータで残り2台のカメラの姿勢を補外する — 無償で実効視野角を3倍にする。トラッキングは30 fpsで動作する。
- 段階的な3DGS構築: NerfstudioのSplatfactoを改造し、画像-姿勢ペアのストリームを消費できるようにする。新しいガウシアンは各キーフレームごとに、深度画像から500ピクセルをサンプリングし、(薄い物体や透明な物体でも精度の高い)学習済みステレオモデルによるメトリック深度で逆投影して初期化される。
- ループ内でのグローバルバンドル調整: 150キーフレームごとに、DROID-SLAMのグローバルBAがキーフレームグラフ全体にわたって過去の全姿勢を再最適化し(再投影点と更新されたオプティカルフロー対応点間のマハラノビス距離を最小化)、3DGS学習用カメラも合わせて更新される — これにより、そうしなければ生じる、重複した物体、ぼやけたジオメトリ、ゴーストの原因となるドリフトが緩和される。(SplaTAMのようにスプラット内部で姿勢トラッキングを行う方式は、フレームあたり最大1秒かかり、ここでは遅すぎる。)
- 言語埋め込み(明示的・暗黙的ハイブリッド): 幾何は明示的なガウシアンであり、意味情報はスケール条件付きフィールド に存在する — 位置 はマルチ解像度ハッシュエンコーディングを通って を生成し、続いてMLP が次元の言語特徴を出力する。特徴はタイルベースのラスタライザで特徴画像にラスタライズされ、学習画像のマルチスケールCLIPクロップに対して教師信号が与えられる(LERFと同様であり、スケールにわたってCLIPを平均するFMGSとは異なる)。推論は1080pで約50 Hzで動作する。
- クエリ: テキストプロンプトはCLIPでエンコードされ、LERF様の関連度マップが計算され、クエリは3Dガウシアンの平均値に対する関連度のargmaxとしてワールド座標系で位置決めされる — 密な点群のボリュームレンダリングは不要である。
実験結果
- 物体再現率(4シーン、シーンごとにGPT-4V生成のオープン語彙クエリ15個、成功はargmax点が手動注釈された枠内にノベルビューで投影されること): LEGS vs LERF — Office Kitchen 10/15 vs 9/15、Office Dining Area 11/15 vs 11/15、Office Workspace 9/15 vs 10/15、Grocery Store Testbed 10/15 vs 12/15 — 同程度の成功率で、オープン語彙・ロングテールクエリにおいて「最大66%の精度」。
- 学習時間(平均PSNR 20到達まで): LEGS 12分 vs LERF 44分 — 3.5倍以上速く、しかもLEGSは姿勢を段階的に受け取るのに対しLERFは最終的な姿勢を最初から得ている。
- バンドル調整のアブレーション(学習視点のPSNR、BAなし→BAあり): D435 18.6 → 22.7、D455 20.0 → 23.5、ZED 2 19.2 → 23.8 — BAは全カメラにわたるゴースト重複(例: 二重になったバレーボール)を除去する。
- 多眼カメラ vs 単眼カメラ: 3台構成のリグは、単一のZEDでは見落とされる低視点の物体(ゴミ収集チュート、床が濡れている標識)を再構成する。
- 明示された失敗モード: 学習視点内の小さい/遠方の物体、物体と背景の色の類似性、意味的に似た物体への誤検出、静的シーンの仮定。
SLAMにおける意義
LEGSは「幾何としてのSLAM」からSpatial AIへの具体的な一歩である: ロボットが店舗や倉庫をマッピングし、直後に「救急箱はどこ?」と問うことができる。オンライン3DGS学習と言語整合特徴による教師信号を組み合わせた最初期のシステムの一つであり、LERFのアイデアが撮影後最適化から段階的ロボットマッピングへの移行を生き延びることを示した — 古典的なSLAM機構(DROID-SLAMトラッキング+定期的なグローバルBA)が、室内スケールでのオンラインスプラット学習を機能させる姿勢一貫性を提供している。