VGGT

Wang (Meta) 2025 · 論文

一行要約 — 1枚から数百枚のビューから、カメラパラメータ、深度マップ、密なポイントマップ、3D点トラックを1秒未満で直接推論する単一のフィードフォワードTransformer——CVPR 2025 Best Paper受賞であり、幾何学的パイプラインを1つのネットワークで置き換えるテンプレートとなる。

問題

3Dビジョンモデルは従来、単一タスクに制約・特化されてきた。深度用に1つのネットワーク、ポーズ用に別のネットワーク、点追跡用にさらに別のネットワークというように。そして完全な多視点再構成には、後処理として視覚幾何最適化（バンドル調整、三角測量、DUSt3R式の大域アライメント）を伴う多段階パイプラインが必要であった。VGGTは、任意の数のビューからシーンの主要な3D属性のすべてを、1つのネットワークで直接推論できるかどうかを問う——それも最適化ステージを省略可能にするほど高速かつ高精度に。

手法とアーキテクチャ

1つの関数、4つの出力: シーンの$N$枚の画像が与えられると、Transformer $f$はフレームごとに以下を予測する

$$f\big((I_i)_{i=1}^N\big) = \big(\mathbf{g}_i, D_i, P_i, T_i\big)_{i=1}^N,$$

ここで$\mathbf{g}_i = [\mathbf{q}, \mathbf{t}, \mathbf{f}] \in \mathbb{R}^9$は回転クォータニオン、並行移動、視野角をまとめたものである。$D_i \in \mathbb{R}^{H \times W}$は深度マップ、$P_i \in \mathbb{R}^{3 \times H \times W}$はポイントマップであり（DUSt3Rと同様に）最初のカメラの座標系で表現される。$T_i \in \mathbb{R}^{C \times H \times W}$はトラッキングモジュール$\mathcal{T}$が消費する密な特徴である。

• Alternating-Attentionバックボーン: 画像はDINOv2でトークン化されたパッチに分割され、約12億パラメータの標準的な自己注意で処理される——$L = 24$個のフレーム単位自己注意（各画像内のトークン間）と大域自己注意（全フレームにわたるトークン間）が交互に繰り返される。クロスアテンション層はなく、3D帰納バイアスは最小限であり、多視点幾何は組み込まれるのではなく学習される。
• トークンとヘッド: 各フレームは1つのカメラトークンと4つのレジスタトークンを持つ。最初のフレームのトークンは別個の学習可能パラメータであり、これによりネットワークはどのカメラが世界フレームを定義するかを知る（したがって$\mathbf{q}_1 = [0,0,0,1]$、$\mathbf{t}_1 = [0,0,0]$）。カメラは、出力カメラトークンから4つの自己注意層+線形層により予測される。密な出力はDPTヘッドの後に3×3畳み込みを経て得られ、加えて偶然的不確実性マップ$\Sigma_i^D, \Sigma_i^P$も出力される。
• トラッキングヘッド: CoTracker2式のモジュールが、クエリ点の特徴を他の全フレームの特徴マップ$T_i$と相関させ、任意の（順序なし）画像集合に対する対応関係$\hat{\mathbf{y}}_{j,i}$を出力する。$f$と$\mathcal{T}$は結合学習される。
• マルチタスク損失:

$$\mathcal{L} = \mathcal{L}_{\text{camera}} + \mathcal{L}_{\text{depth}} + \mathcal{L}_{\text{pmap}} + \lambda \mathcal{L}_{\text{track}}, \qquad \lambda = 0.05,$$

Huberカメラ損失$\mathcal{L}_{\text{camera}} = \sum_i \|\hat{\mathbf{g}}_i - \mathbf{g}_i\|_\epsilon$と、$\sum_i \|\Sigma_i^D \odot (\hat{D}_i - D_i)\| + \|\Sigma_i^D \odot (\nabla \hat{D}_i - \nabla D_i)\| - \alpha \log \Sigma_i^D$の形をとる不確実性重み付き密損失（ポイントマップについても同様）を持つ。

• 過完備な予測: カメラ、深度、ポイントマップは相互に関連している（ポイントマップ=深度+カメラ）が、学習中にこれらすべてを予測することで各出力が計測可能なほど改善する。推論時には、深度ヘッドとカメラヘッドを合成することで、専用のポイントマップヘッドより優れた3D点が得られる。
• 学習: 64台のA100上で9日間、16万回のAdamWイテレーション、バッチあたり2〜24フレーム、最大518px、17個のデータセット（Co3Dv2、BlendMVS、DL3DV、MegaDepth、Kubric、WildRGB、ScanNet、HyperSim、Mapillary、Habitat、Replicaなど）——規模と多様性においてMASt3Rの学習ミックスと同等である。

実験結果

• カメラポーズ（ランダム10フレーム、AUC@30）: CO3Dv2で88.2、RealEstate10K（学習で未見）で85.3を純粋なフィードフォワードモードで約0.2秒で達成——MASt3Rの81.8/76.4（約9秒）、VGGSfM v2の83.4/78.9（約10秒）、高速な同時期モデルであるFast3Rの82.5/72.7、CUT3Rの82.8/75.3に対して。VGGTの予測をバンドル調整の初期化として与えると、約1.8秒で91.8/93.5まで上昇する（三角測量/反復リファインメント不要）。
• 多視点深度（DTU、カメラ未知）: 全体Chamfer 0.382——DUSt3Rの1.741に対し、正解カメラを使うGeoMVSNet（0.295）に近づく。
• ポイントマップ（ETH3D）: 全体0.677（深度+カメラ合成）——DUSt3Rの1.005、大域アライメントを用いたMASt3Rの0.826に対し——実行時間は7〜9秒ではなく0.2秒である。
• 2視点マッチング（ScanNet-1500）: AUC@5 33.9——RoMaの31.8に対し——トラッキングヘッドが2視点マッチング用に特化されていないにもかかわらずである。
• 事前学習されたVGGT特徴は、動的点追跡（ファインチューニングされたCoTracker）やフィードフォワード新規視点合成を含む下流タスクを大幅に強化する。CVPR 2025 Best Paper賞を受賞し、コードとモデルは公開されている。

SLAMにおける意義

VGGTは、3Dビジョンにおけるフィードフォワード基盤モデルパラダイムを実証した。十分に学習されたTransformerは、SfM/SLAMフロントエンド全体（検出、マッチング、ポーズ推定、三角測量、密な深度）の代わりを務めることができる。これはDUSt3R/MASt3Rのポイントマップの系譜を画像ペアから任意数のビューへと拡張し、その周りに構築されたSLAMシステム——VGGT-SLAM、VGGT-Geoなど——を即座に生み出した。そこではネットワークが即座に幾何を提供し、軽量なバックエンドが整合性を提供する。手作りの幾何の先にSLAMがどこへ向かうのかを探っているなら、これは必読の論文である。

関連ノート

• DUSt3R — このパラダイムを始めたペアワイズポイントマップ回帰
• MASt3R — DUSt3Rのマッチング重視の後継手法
• VGGT-SLAM — VGGTをフロントエンドとして使うSLAMシステム
• VGGT-SLAM 2.0 — バックエンドを再設計したリアルタイム後継システム
• VGGT-Geo — 密な屋内SLAMのためのVGGT事前情報の確率的融合
• VoT — 同じ潮流にあるTransformerベースのvisual odometry