AMB3R

Wang 2025 · 論文

一行要約 — DUSt3R/VGGT系譜のフィードフォワード3D再構成モデルに、メトリックスケールヘッドと疎な体積バックエンドを凍結済みVGGTに追加したもので、ファインチューニングやテスト時最適化なしに、1つのネットワークが多視点再構成、キャリブレーション不要の視覚オドメトリ、大規模SfMに供される。

問題

点マップモデル(DUSt3R、MASt3R、VGGT)はピクセルごとの3D幾何を回帰するが、ネットワークは2D格子上で動作するため、空間コンパクト性(TSDF、特徴グリッド、座標ネットワークが共有する性質であり、1つの3D位置が1つの値を持つこと)は何も強制されない。これが同じ点の複数観測を一貫した幾何へ融合する性質である。重なり合うピクセルの点マップ予測は、暗黙的にのみ一致するよう促されているにすぎない。これらのモデルが展開可能なSfM/SLAMエンジンから離れているさらに2つの隔たりがある。予測はメトリックスケールではなく正規化されていること、そして既存システムはVO/SfMとして動かすために最適化ベースのバックエンド(例えばVGGT-SLAMのSL(4)ファクタグラフ)やタスク固有のチューニングを必要としたことである。AMB3R(“Accurate feed-forward Metric-scale 3D reconstruction with Backend”)はこれら3つすべてを1つのモデルの中で目指す。

手法とアーキテクチャ

• フロントエンド: 凍結されたVGGTが、画像$\{I_t\}_{t=1}^{T}$から点マップ$P_t^{(1)}$(最初のフレームの座標系における)、深度、カメラ、信頼度を予測する。
• メトリックスケールヘッド: 大域的なスケールを回帰するのではなく(フレームの組み合わせや順序によって変動するため不安定)、軽量なヘッドが、フレームごとに、エンコーダ+深度ブランチの特徴から、予測深度が中央値であるピクセルのメトリック対数深度を回帰する。フレーム間の中央値が再構成をメトリック空間に整合させる。L1損失で訓練される。
• 疎な体積バックエンド: 予測された点と幾何特徴が疎なボクセル格子$\mathcal{V}$に(正規化空間でのボクセルサイズ0.01。したがって解像度はシーンのスケールに適応する)プールされる: $$H_i = \frac{1}{|\mathcal{P}_i|} \sum_{(t,\mathbf{u}) \in \mathcal{P}_i} G_t[\mathbf{u}], \qquad \{\hat{H}_i\}_{i=1}^{N} = (\mathcal{S}^{-1} \circ f_{\theta} \circ \mathcal{S})\left(\{H_i\}_{i=1}^{N}\right),$$ ここで$\mathcal{P}_i$はその3D点がボクセル$\mathcal{V}_i$に落ちるピクセルを収集し、$\mathcal{S}$は空間充填(ヒルベルト)曲線によってボクセルを1D系列にシリアライズし、$f_{\theta}$はPoint Transformer v3である。KNN補間がボクセル特徴をピクセルへ写し返し、それらはゼロ畳み込み(ControlNet方式)を通じて凍結済みデコーダに注入され、VGGTの学習済みアテンションと信頼度を再利用する。バックエンド+スケールヘッドの訓練コストはわずか約80 H100 GPU時間である($\mathcal{L} = \mathcal{L}_{\mathrm{depth}} + \mathcal{L}_{\mathrm{pointmap}} + \mathcal{L}_{\mathrm{camera}}$、教師あり信号の前にROEスケール整合を行う)。
• キャリブレーション不要のVO、最適化バックエンドなし: 点マップ予測は常に、中央値スケールまでの範囲で最初(参照)フレームで表現されるため、Sim(3)/SL(4)整合は不要である。選ばれたキーフレームは、$N_w = 8$フレームの新しいウィンドウごとにメモリとして働く。キーフレームはポーズ距離によって選ばれる。 $$D_{i,j} = \arccos\left(\frac{\operatorname{Tr}(R_j R_i^{T}) - 1}{2}\right) + \lambda \lVert \tau'_i - \tau'_j \rVert_2,$$ 最小間隔は$\eta_d = 0.15$である。新しいウィンドウのスケールは、共有キーフレームから$s^w = \mathrm{ROE}(P_k^{(1)}, P_k^{(1),w})$で求まり、予測は点、スケール、平行移動、球面線形補間されたクォータニオンの信頼度重み付き移動平均によってマップに融合される(例えば$P_k \leftarrow (C_k P_k + C_k^w s^w P_k^w)/(C_k + C_k^w)$)。アクティブなキーフレームは(最大10 → 7に)再サンプリングされ、古いキーフレームを再利用してループを暗黙的に閉じる後方探索窓が使われる。
• フィードフォワードSfM: 分割統治法 — (ホワイトニングされた記述子上でのFPSによる)特徴ベースの画像クラスタリング、クラスタ単位の粗い増分登録、その後キーフレームグラフ上での信頼度優先BFS洗練。バンドル調整はどこにも用いない。

実験結果

13データセット、7タスクにわたって評価(すべての距離はcm単位。ATE RMSEはevoによる):

• TUM RGBでのVO: 平均ATE 3.2(全フレーム)/ 2.7(キーフレーム) 対 従来のキャリブレーション不要SOTAであるMUSt3Rの7.1 — ETH3D SLAMでは2.6 対 MUSt3Rの11.2。最適化ベースの対応手法を上回った初のフィードフォワードVO(TUMでDROID-VO 11.4、GlORIE-VO 9.3)。
• TUMでのSLAM比較(キーフレームプロトコル、ベースラインにはループ閉じ込み+大域BAを許可): AMB3Rの2.7は、キャリブレーション不要のVGGT-SLAM(5.3)とMASt3R-SLAM(6.0)、さらにキャリブレーション済みMASt3R-SLAM(3.0)さえも上回る — 軌跡の後処理なしで。
• 7-Scenes: 平均ATE 2.1で、データセット自身のKinectFusion疑似正解データ(5.7)より低く、これはノベルビュー合成PSNRによって検証されている。
• 多視点深度(RMVDB): 平均相対誤差1.7 / $\delta_{1.03}$ 87.3 — 新たなSOTAであり、VGGT(2.4 / 81.3)や同時期の$\pi^3$(1.8 / 85.6)を上回り、ポーズ既知のMVSA(2.7 / 77.0)よりも優れている。
• 3D再構成: ETH3D(4.64/9.98/9.69)、DTU(0.81/0.22/0.08 — ミリメートル級の物体精度)、7-Scenes(4.74/1.74/2.84)において相対誤差/精度/完全性で最良。
• ETH3DでのSfM: RRA@5 98.2 / RTA@5 81.9(平均) 対 MASt3R-SfMの81.2/79.7 — 最適化ベースのBAを一切使わずに。
• その他: RealEstate10Kにおけるカメラポーズ AUC@30 86.3(VGGT 85.3); NYUv2(相対誤差3.0)とETH3D(3.2)におけるゼロショット単眼深度SOTA; TUM Dynamic(平均1.9)における、動的シーン向けの訓練なしにもかかわらずMegaSaMに迫る競争力のある動的シーンVO。コード、重み、評価ツールキットはオープンソース化されている。

SLAMにおける意義

点マップ系の系譜は、古典的なSfM/SLAMスタックを漸進的に吸収しつつあり、AMB3Rはその一つの節目を示している。キャリブレーション不要のフィードフォワードシステムが、TUMにおいてキャリブレーション済みの最適化ベースSLAMを上回ったのだ。この2つのアイデアはそれぞれ独立して重要である。凍結された特徴から回復されたメトリックスケールは、IMUやステレオなしに単眼スケールの曖昧性に対処し、コンパクトな3Dバックエンドは、点マップ回帰が失っていた空間コンパクト性の事前知識を、アカデミックな規模の訓練コストで回復する。残された限界(明示的なループ閉じ込みや再位置決めがないこと、視点数に対する二乗のアテンションコスト、参照フレームの事前知識への依存)は、最適化バックエンドが今も存在価値を持つ場所を正確に描き出している。

関連ノート

• DUSt3R
• MASt3R
• VGGT
• MASt3R-SLAM
• VGGT-SLAM — AMB3Rが不要だと主張する、最適化バックエンドを用いる代替手法
• COLMAP
• Scale ambiguity