VGGT-SLAM 2.0

Maggio 2026 · 論文

一行要約 — VGGT-SLAMの後継システム。15自由度のドリフトと平面退化を除去するキーフレーム単位のファクターグラフ、VGGTのアテンション層から読み出す学習不要のループ閉じ込み検証、そしてJetson Thor上でのリアルタイム動作を実現する。

問題

VGGT-SLAMは、SL(4)上で15自由度のホモグラフィを最適化することで、未キャリブレーションのサブマップアライメント問題を解決したが、この解決策には独自のコストが伴う。高次元アライメントは、ループ閉じ込み間で急速なドリフトを引き起こし、シーンを大きく歪めることがある。また、完全なホモグラフィを解くことは、平面的なシーン（カメラが壁や床に向いている場合）では退化し、発散を引き起こす。そのファクターグラフはサブマップ単位のホモグラフィのみを推定していたため、VGGTからのキーフレーム単位の回転/並行移動誤差は最適とは言えない形で処理されていた。さらに、ループ閉じ込みのための画像検索は、外部ネットワーク（SALAD）を検証なしに信頼していた。VGGT-SLAM 2.0は、未知の内部パラメータ下でのVGGTの再構成曖昧性を尊重しつつ、これらの失敗モードを除去するようバックエンドを再設計し——さらにシステム全体をロボット上でオンラインに動作させる。

手法とアーキテクチャ

• セットアップ: 各サブマップは$n$個のキーフレームに対するVGGTの1回のパスから生成され、キャリブレーション$\mathcal{K}$、ポーズ$\mathcal{T}$、深度$\mathcal{D}$、信頼度$\mathcal{C}$が得られる。点は$\mathbf{K}_i^{-1}$と$\mathbf{D}_i$を用いて各カメラフレームで逆投影され$\mathbf{X}_i$となる。連続するサブマップは1つの重複フレームを共有する。一般的なアライメント対象は完全な$4\times 4$ホモグラフィである $$\mathbf{H}_i = \begin{bmatrix} \mathbf{K}\mathbf{R} & \mathbf{t} \\ \mathbf{v}^{T} & s \end{bmatrix},$$ 15自由度を持つ: 並行移動3、回転3、スケール1、アフィン5（キャリブレーション$\mathbf{K}$）、射影3（$\mathbf{v}$）。
• 新しいファクターグラフ——ノードとしてのキーフレーム: 各キーフレームは$\mathrm{SL}(4)$ノードである。Intraエッジはサブマップ内のキーフレームを接続し、VGGTのポーズから直接得られる$\mathrm{SE}(3)$成分のみを持つ: $\mathbf{H}^i_j = \mathbf{T}_i^{-1}\mathbf{T}_j$——射影歪みはサブマップ内で一貫しており、これらのエッジが最適化にVGGT自身のポーズドリフトを補正させる。Interエッジは重複フレームの2つの推定値を接続し、キャリブレーションとスケールのみを持つ: $$\mathbf{H}^i_j = \begin{bmatrix} \mathbf{K}_i^{-1}\mathbf{K}_j & 0 \\ \mathbf{0}^{T} & s \end{bmatrix},$$ これは、両サブマップの同一の物理カメラに対する推定がポーズとキャリブレーションで一致することを強制する（VGGTのキャリブレーション推定が間違っていても、それは同一でなければならない）。SL(4)部分群へのこの制限が、15自由度のドリフトと平面退化を除去する。スケール$s$は、2つの点群を共通のキャリブレーションにワープした後の対応する3D点間距離の比の中央値である——VGGTの生の点が使われる唯一の場所である。
• VGGTのアテンションからのループ閉じ込み検証を無償で: VGGTの層22は、2枚の画像の対応領域間で「スポットライト」型のアテンションパターンを示す（層21/23には存在せず、テクスチャレスな壁上でも現れる）。マッチスコアは以下で計算される: $$\gamma_t = \max_{q \in Q^{(2)}} \left( \frac{\operatorname{Softmax}\left(Q^{(2)} {K^{(1)}}^{\top}\right)}{\max_{q \in Q^{(1)}} \operatorname{Softmax}\left(Q^{(1)} {K^{(1)}}^{\top}\right)} \right), \qquad \alpha_{match} = \operatorname{Mean}_{\text{top }25\%}\left(\{\gamma_t\}\right),$$ ここで$Q$、$K$は検索対象画像とクエリ画像のクエリ/キートークン（ヘッド平均済み）である。SALADの候補は、$\alpha_{match}$が閾値を超えた場合のみ受理される。これによりSALADの閾値を緩和（0.80→0.95）してより多くのループ閉じ込みを収集しつつ、偽陽性を排除できる。ループ閉じ込みは、VGGTに渡される2フレームのミニサブマップとして扱われ、interエッジで接続される。
• 大域最適化とマップ復元: グラフはGTSAM（SL(4)ソルバーはGTSAMにアップストリームされている）を用いてSL(4)多様体上で最適化される。射影行列は$\mathbf{P}_i = \mathbf{K}_i^{3\times 4} (\mathbf{H}^w_i)^{-1}$として復元され、大域ポーズに分解される。大域点は$\mathbf{H}^w_i$を適用することで得られる。

実験結果

全実験で一定のパラメータ（最小視差50px、信頼度閾値25%、SALAD 0.95、$\alpha_{match}$ 0.85）。

• TUM RGB-D（未キャリブレーション、32フレームのサブマップ）: 最良の平均ATE RMSEは0.041 m——VGGT-SLAM SL(4)（0.053 m）より約23%低く、ViSTA-SLAM（0.052 m）より約22%低い。MASt3R-SLAM*は0.060 m。平面的なfloorシーンでは: 0.102 m対VGGT-SLAMの0.141 m。
• ループ閉じ込み検証: Clioデータセットにおいて、検証は受理されたループ閉じ込みを2→5（Cubicle）、0→9（Apartment）に増加させ、発散していたOfficeの走行（似た形のデスクキュービクルによる偽陽性）を、偽陽性ゼロの4つの正しい閉じ込みに変える。LaMAR HGEでは、Recall@1がSALADで88.45→90.13、NetVLADで85.92→89.08に改善する。
• 実行速度: RTX 3090上で16フレームサブマップで約8.4 FPS（オープンセットCLIP埋め込み使用時は6.3 FPS）。サブマップあたりの時間はVGGT推論（1248 ms）が支配的である。同じマシン上で、MASt3R-SLAMは7.2 FPS、VGGT-SLAMは6.9 FPSで動作する。RealSense D455搭載のJackal地上ロボット上のJetson Thorで完全にオンボード動作させた場合: 4フレームサブマップでライブ3.5 FPS。
• オープンセット物体検出: キーフレームごとのPerception Encoder CLIP埋め込み+SAM 3セグメンテーションにより、テキストクエリから3D有向境界ボックスをクエリあたり約0.36秒（RTX 3090）で得られる。
• スケール: 4,200平方フィートの納屋（34サブマップ）と、VGGT-SLAMが発散するKITTI運転シーケンス（44サブマップ）を再構成する——いずれも元論文で最大のシーン（22サブマップ）より大きい。

SLAMにおける意義

基盤モデルSLAMの第一波（MASt3R-SLAM、VGGT-SLAM）はコンセプトを実証したが、オフラインまたはセンサレート未満で動作していた。VGGT-SLAM 2.0は残されたギャップ——組み込みロボットハードウェア上でオンラインに動作する密なフィードフォワード再構成——を埋める。これはロボティクスとARにおける実際の要件である。そのアテンション層の解析も注目に値するパターンである。凍結された基盤モデルから、学習を一切行わずにループ閉じ込み検証を抽出できることは、これらのモデルが既にどれだけ潜在的なSLAM機構を含んでいるかを示唆している。何も学習されていないため、より高速あるいはより優れたVGGTの変種を直接差し替えることができる。

関連ノート

• VGGT-SLAM — この版が置き換える元のシステム
• VGGT — 基盤となるフィードフォワード幾何モデル
• MASt3R-SLAM — 同時代の基盤モデルSLAM
• DROID-SLAM — この系譜における、より初期の学習ベースSLAMベースライン
• Visual Place Recognition (VPR) — VGGTのアテンションが無償で検証する検索問題
• Clio — ループ閉じ込み評価に使われたタスク駆動型シーングラフデータセット