IGGT

Li 2025 · 論文

一行要約 — インスタンスに根ざしたジオメトリ・トランスフォーマーであり、フィードフォワード型の3D再構成とインスタンスレベルのシーン理解を単一モデルで統合する。別途再構成したマップに意味情報を後付けするのではない。

問題

人間は幾何構造と意味的内容を絡み合ったものとして知覚するが、大半のパイプラインはこれらを別々に扱う。大規模な幾何モデル(DUSt3R/VGGT系列)は低次の3D再構成のために学習される一方、高次の空間理解は独立に処理される — これは「汎化性能を制限し、下流の3D理解タスクにおいて性能低下を招く」。最近の対策は3Dモデルを特定の1つの視覚言語モデルに整合させるものだが、それは細かな幾何ディテールを過度に平滑化し、知覚能力を整合先モデル(例えばLSeg)の能力で頭打ちにし、さらに — VLMの特徴はカテゴリレベルであるため — 同一クラスの異なる物体を区別できず、大きな視点変化のもとでインスタンス追跡が破綻する。

手法とアーキテクチャ

IGGTは $N$ 枚の画像を、1回の順伝播でジオメトリとインスタンス特徴の両方に写像する:

$\mathcal{F}: \{I_i\}_{i=1}^{N} \mapsto (t_i, D_i, P_i, S_i)_{i=1}^{N},$

ここで $t_i$ はカメラパラメータ、 $D_i$ は深度マップ、 $P_i$ は点マップ、 $S_i$ は3D一貫性を持つインスタンスレベルの特徴マップである。

Large Unified Transformer: 10億パラメータのVGGT様バックボーン — DINOv2のパッチトークンに、各視点ごとの学習可能なカメラトークンを加え、視点内自己注意とグローバルな視点間注意を交互に行う24ブロックに通し、各画像ごとの統合トークン $\mathbf{T}_i \in \mathbb{R}^{M \times D}$ を生成する。
2つのヘッド: 幾何ヘッド(カメラ、深度、点の予測器。VGGTから継承したDPTスタイル)と、インスタンスヘッド。両者は同じトークンをデコードする: $\{F^{pt}_i\} = \Phi_{pt}(\{\mathbf{T}_i\})$ 、 $\{F^{ins}_i\} = \Phi_{ins}(\{\mathbf{T}_i\})$ 。
クロスモーダル融合ブロック: スライディングウィンドウ交差注意によって、ピクセルレベルの幾何特徴をインスタンス分岐に注入する(二次計算量のグローバル注意を回避する): $\hat{F}_{i,(l)}^{ins} = F_{i,(l)}^{ins} + \mathcal{F}_{\text{win}}\left(Q = F_{i,(l)}^{ins},\; K = F_{i,(l)}^{pt},\; V = F_{i,(l)}^{pt}\right),$ これにより物体の境界と空間レイアウトの認識が鋭くなる。精緻化された特徴は8次元のインスタンス埋め込み $O_{ins}$ に射影される。
3D一貫対比学習: サンプリングされたピクセル集合 $\mathcal{P}$ において、同一の物理的インスタンス(インスタンスID $m(p)$ )の特徴は視点をまたいで引き寄せられ、異なるインスタンスはマージン $M$ を隔てて引き離される: $\mathcal{L}_{mvc} = \lambda_{pull} \sum_{m(p_i) = m(p_j)} d(f_{p_i}, f_{p_j}) + \lambda_{push} \sum_{m(p_i) \neq m(p_j)} \max\left(0,\, M - d(f_{p_i}, f_{p_j})\right),$ ここで $d$ は正規化された特徴間のL2距離である。全体の損失は $\mathcal{L}_{overall} = \mathcal{L}_{pose} + \mathcal{L}_{depth} + \mathcal{L}_{pmap} + \mathcal{L}_{mvc}$ である(幾何項はVGGTの学習方式に従う)。
インスタンス根ざしのシーン理解: 推論時には、HDBSCANが多視点のインスタンス特徴を $K$ 個のインスタンスにクラスタリングし、3D一貫性を持つ2Dインスタンスマスクを生成する。これらのマスクは、プラグアンドプレイ方式で任意のVLM/LMMへの「橋」となる。マスクでプールされたOpenSeg/CLIP特徴はオープン語彙セグメンテーションを与え、マスクを強調した視点をLMM(例えばQwen2.5-VL、GPT-4o)に問い合わせることでQAシーングラウンディングが得られる。特定の言語モデルが焼き込まれているわけではない。
InsScene-15K: 合成データ(Aria、Infinigen)、映像データ(RE10K。SAM + SAM2伝播にキーフレーム再シードを併用)、RGB-Dデータ(ScanNet++。投影された3DアノテーションをさらにSAM2の提案で精緻化)から作成された、15,000シーン規模のデータセット(RGB、姿勢、深度、3D一貫性インスタンスマスク)。IGGTはVGGTの重みから初期化し、8基のA800上で2日間ファインチューニングされる。

実験結果

ScanNetとScanNet++(各10シーン、シーンあたり8~10枚の画像)で評価:

インスタンスの空間追跡: ScanNetではT-mIoU 69.41 / T-SR 98.66、ScanNet++では73.02 / 98.90であり、SAM2*の53.74/71.25、44.16/57.89、SpaTracker+SAMの26.43/38.57、16.15/23.68と比較される — カメラの大きな動きの下でベースラインが物体を見失う場面でもほぼ完全な成功率を示す。
オープン語彙セグメンテーション: ScanNet++では2D mIoU 31.31、mAcc 70.78 — 他の手法をmIoUで8.34%、mAccで7.88%上回る。3D mIoUは従来手法に対しScanNetで4.31%(39.68)、ScanNet++で4.97%(20.14)改善する。
再構成品質は犠牲にならない: ScanNetでの深度Abs. Relは1.90でVGGTの1.84と同等であり、ScanNet++ではVGGTよりも優れる — Abs. Relで0.14(2.61 vs 2.75)、インライア率で0.25(85.66 vs 85.41)向上している — これは意味情報の同時学習が幾何にも良い影響を及ぼす証拠である。
LERF-OVS(Teatime)でのQAグラウンディングのデモでは、インスタンス根ざしのLMM問い合わせが、多視点一貫性においてGemini 2.5 Proへの直接プロンプトを上回ることが示された。

SLAMにおける意義

DUSt3R/VGGT系列の流れは、SLAMシステムに密な幾何を無償で提供する基盤モデルへと向かっているが、IGGTはその潮流を「表面がどこにあるか」だけでなく「シーンに何があるか」にまで拡張する。マニピュレーション、意味的ナビゲーション、ARといったSpatial AIにとって、3D一貫性のある物体インスタンスに分割されたマップは生の幾何よりもはるかに実行可能性が高く、これを単一のフィードフォワードモデル内で行うことは、フレームごとの2Dセグメンテーション(SAMマスク、CLIP特徴)を3Dマップに縫い合わせることで生じる不整合を回避する。マスクを橋とする設計はまた、より優れたVLMが登場するたびに意味情報スタックが無償でアップグレードされることも意味する。

IGGT

問題

手法とアーキテクチャ

実験結果

SLAMにおける意義

関連ノート