SceneDINO

Jevtić 2025 · 論文

一行要約 — SceneDINOは、自己教師あり学習された2D DINO特徴を、フィードフォワード型の3D特徴場へと引き上げ、単一画像からジオメトリと表現力の高い3D特徴を予測し、それを蒸留することで、最初の完全教師なしのセマンティックシーン補完(SSC)システム——いかなる意味的またはジオメトリ的な正解データも用いない——を実現する。

問題

セマンティックシーン補完は、モデルに単一画像から3Dジオメトリとシーンの意味の両方を推論させる——遮蔽された、観測されたことのない領域も含めて。従来のSSC手法は高価な正解の3Dボクセルラベルに依存し、しばしば追加のLiDAR教師信号を必要とする; GaussTRのような「ラベルフリー」な変種であっても、大きく教師された基盤モデル(SAM、Metric3Dv2)に依存する。SceneDINOは、完全に教師なしの設定でSSCに取り組む最初の手法である: 学習にはラベルなしのマルチビュー画像のみを自己教師付きで用い、推論には単一のRGB画像を用いる。

手法とアーキテクチャ

このパイプラインは、Behind the Scenes(BTS)を特徴ヘッドで拡張し、さらに3D蒸留段階を追加する:

1. フィードフォワード特徴場。 2Dエンコーダ-デコーダ $\xi$(DINO ViT-B/8バックボーン + 密な予測デコーダ)が、入力画像 $I_0$ をピクセルごとの埋め込み $E \in \mathbb{R}^{D_E \times H \times W}$ にマッピングする。3D点 $x$ を、カメラ距離 $d_x$ でピクセル $u = \pi_0(x)$ に射影すると、2層のMLP $\phi$ が密度と $D{=}768$ 次元のDINO風特徴を予測する: $$(\sigma_x, f_x) = \phi\big(e_u,\, \gamma(u, d_x)\big)$$ ここで $e_u$ は $u$ で双線形補間された $E$ であり、$\gamma$ は位置エンコーディングである。
2. 特徴と深度のボリュームレンダリング。 各レイに沿って間隔 $\delta_i$ で $L{=}32$ 点をサンプリングし、可視性は標準的なボリュームレンダリングに従う: $\alpha_i = 1 - \exp(-\sigma_{x_i}\delta_i)$、$V_i = \prod_{j=1}^{i-1}(1-\alpha_j)$。これによりレンダリングされた特徴と深度が得られる: $$\tilde{f}_{u_r} = \sum_{i=1}^{L} V_i\, \alpha_i\, f_{x_i}, \qquad \tilde{d}_{u_r} = \sum_{i=1}^{L} V_i\, \alpha_i\, d_{x_i}.$$
3. マルチビュー自己教師あり学習。 ビューはソース/ターゲット集合に分割され、ターゲットはソースから再構成される。損失は、光度項 $\mathcal{L}_p = \min_{I_s}\big(\lambda_1 L_1 + \lambda_{\text{SSIM}} L_{\text{SSIM}}\big)$(BTSと同様に他のビューから色をサンプリング)、エッジを考慮した深度の滑らかさ $\mathcal{L}_s$、2D DINO特徴 $F_t$ に対する特徴再構成項

$$\mathcal{L}_f = 1 - \text{cos-sim}\big(F_t,\ \psi(\hat{F}_t) + F\big),$$

を組み合わせる。ここで $\psi$ は特徴ダウンサンプラーであり、$F$ はViTの位置エンコーディングのアーティファクトを補正する学習済みの定数分解である。さらに特徴の滑らかさ $\mathcal{L}_{fs}$ が加わる; 合計は $\mathcal{L} = \lambda_p\mathcal{L}_p + \lambda_s\mathcal{L}_s + \lambda_f\mathcal{L}_f + \lambda_{fs}\mathcal{L}_{fs}$ である。 4. 3D特徴蒸留。 点ごとのヘッド $h$ が $f_x \in \mathbb{R}^D$ を低次元コード $z_x \in \mathbb{R}^K$($K{=}19$)にマッピングし、特徴類似度行列 $S_{ij}$(入力空間)と $S^h_{ij}$(蒸留空間)に対するSTEGOの対比相関損失で学習される: $$\mathcal{L}_{\text{corr}}(f_X, f_Y, b) = -\sum_{i,j} (S_{ij} - b)\, \max(S^h_{ij}, 0)$$ 自己、kNN、ランダムなペアにわたって合計される。特徴バッチは3Dでサンプリングされる: 深度で層化された表面中心点、半径 $r = 0.5\,$m以内の近傍、密度 $\sigma > 0.5$ のサンプルのみを保持する。 5. 教師なしプロービング。 ミニバッチのコサインk-meansが蒸留空間をクラスタリングする; $p_x = \text{softmax}(\text{cos-sim}(h(f_x), \theta))$ が疑似クラスを与え、評価のためだけにハンガリアンマッチングで正解に整合される。学習は単一のV100で約2日かかる; カメラ姿勢は教師なしのORB-SLAM3から得ることができる。

実験結果

SSCBench-KITTI-360(範囲12.8/25.6/51.2m、ハンガリーマッチングによるmIoU、%)において:

ジオメトリIoUは49.54/42.27/37.60であり(教師ありS4Cの54.64/45.57/39.35に対して)。2D教師なしセグメンテーションでは、KITTI-360においてSceneDINOはAcc 77.74 / mIoU 25.81に達し、DINO特徴を用いたSTEGO(73.32/23.57)とU2Seg(72.89/23.43)を上回る。蒸留された特徴を線形プロービングする(DINOv2をターゲットとして)と15.85/13.70/10.57のmIoUが得られ——完全教師ありのS4Cとの差を縮め、51.2mではわずかに上回る。データセットの姿勢の代わりにORB-SLAM3で推定された姿勢を用いても、mIoUの低下はわずか0.12にとどまる; DINO→DINOv2ターゲットへの切り替えは+1.08 mIoUの向上をもたらす。Cityscapes/BDD100Kへのドメイン汎化や、マルチビューでの特徴一貫性(DINO、DINOv2、FiT3Dとの比較)においても最先端である。

SLAMにおける意義

SLAMマップは、センサーが見ていない場所では空洞になる; シーン補完はその空隙を学習された構造的事前分布で埋めることで、部分的にしか観測されていない環境における探索、経路計画、安全なナビゲーションに直接役立つ。SceneDINOは、このレベルにおけるSpatial AIの潮流を例証する——自己教師あり基盤モデルの特徴を再利用して、3Dの注釈なしにオープンワールドの3D理解を得るというものであり、そのパイプラインは文字通りSLAMと互換性がある: 著者らは、ORB-SLAM3の姿勢を用いても無視できる程度のコストで学習が機能することを示し、全体のスタックを教師なしのまま保っている。

関連ノート

• Spatial AI
• Foundation models
• OpenScene
• NeRF
• World Labs / Marble