Depth Anything

Yang 2024 · 論文

一行要約 — Depth Anything（CVPR 2024）は単眼深度推定の基盤モデルであり、約6200万枚の自動アノテーション付きラベルなし画像に学習をスケールすることで構築され、任意のシーンへの強力なゼロショット汎化を実現する。

問題

教師付き単眼深度モデルは、ラベル付き深度データが希少であるために停滞する——公開データセット全体でおよそ100万枚強にとどまるのに対し、ラベルなしのインターネット画像は実質的に無制限のプールを持つ。Depth Anythingが掲げる目標は意図的に地味である：「新規の技術モジュールを追求せず」、大規模なラベルなしデータを深度推定に実際に役立てることで、「任意の状況下で任意の画像を扱える、シンプルかつ強力な基盤モデル」を構築することである。

手法とアーキテクチャ

ベースモデル。 DINOv2で初期化されたViTエンコーダとDPTデコーダを、MiDaSの伝統に沿って学習する：深度は視差d=1/td = 1/tに変換され、マップごとに0∼10 \sim 1へ正規化される。マルチデータセット学習にはアフィン不変損失を用いる。

Ll=1HW∑i=1HWρ(di∗,di),ρ(di∗,di)=∣d^i∗−d^i∣\mathcal{L}_l = \frac{1}{HW}\sum_{i=1}^{HW} \rho(d_i^*, d_i), \qquad \rho(d_i^*, d_i) = |\hat{d}_i^* - \hat{d}_i|

画像ごとのアライメントはd^i=di−t(d)s(d)\hat{d}_i = \frac{d_i - t(d)}{s(d)}、t(d)=median(d)t(d) = \mathrm{median}(d)、s(d)=1HW∑i∣di−t(d)∣s(d) = \frac{1}{HW}\sum_i |d_i - t(d)|。教師モデルTTは6つのデータセット（BlendedMVS、DIML、HRWSI、IRS、MegaDepth、TartanAir）から得た150万枚のラベル付き画像でこの方式で学習される；空領域はセグメンテーションされ視差ゼロに設定される。

データエンジン。 教師モデルは8つの公開ソース（SA-1B、ImageNet-21K、LSUN、BDD100K、Google Landmarks、Objects365、Open Images V7、Places365）から得た6200万枚のラベルなし画像に疑似ラベルを付ける：D^u={(ui,T(ui))∣ui∈Du}\hat{\mathcal{D}}^u = \{(u_i, T(u_i)) \mid u_i \in \mathcal{D}^u\}。生徒モデルSSは（TTからのファインチューンではなく）再初期化され、バッチごとに1:2の比率でラベル付き＋疑似ラベル付きデータで学習される。

生徒に挑戦を課す。 素朴な自己学習は何も追加しなかった——教師と生徒はアーキテクチャを共有し、似た誤りを犯すからである。2つの戦略がラベルなしデータの活用を可能にする。(1) 生徒のラベルなし入力のみへの強い摂動：強い色ジッタリングとガウシアンブラー、さらに空間的CutMix、uab=ua⊙M+ub⊙(1−M)u_{ab} = u_a \odot M + u_b \odot (1-M)（矩形マスクMM、確率50%）；ラベルなし損失Lu\mathcal{L}_uは、それぞれMMと1−M1-Mの内側でT(ua)T(u_a)とT(ub)T(u_b)に対するアフィン不変損失の面積重み付き和であり、一方で教師モデルは常に汚染のない画像を見る。これによりモデルは「追加の視覚的知識を積極的に探索し、ロバストな表現を獲得すること」を強いられる。(2) 補助的なセグメンテーションタスク（離散マスクが多くの情報を失うため失敗した）ではなく、特徴アライメントによるセマンティック事前分布：

Lfeat=1−1HW∑i=1HWcos⁡(fi,fi′)\mathcal{L}_{feat} = 1 - \frac{1}{HW}\sum_{i=1}^{HW} \cos(f_i, f_i')

生徒の特徴ffを固定されたDINOv2エンコーダの特徴f′f'に整列させるが、類似度が許容マージンα=0.85\alpha = 0.85を既に超えている画素はスキップする——物体はセマンティクスを共有するが深度は共有しないため、厳密な特徴コピーは有害になる。総損失はLl\mathcal{L}_l、Lu\mathcal{L}_u、Lfeat\mathcal{L}_{feat}の平均である。

モデルファミリー。 ViT-S（2480万）、ViT-B（9750万）、ViT-L（3.353億）パラメータのエンコーダが精度と速度をトレードオフする；メトリックバリアントはZoeDepthフレームワークでNYUv2またはKITTIに対してエンコーダをファインチューンする。

実験結果

6つの未見データセットでのゼロショット相対深度、最良のMiDaS v3.1モデル（ViT-Lクラス）との比較：Depth Anything ViT-Lは全てで勝つ——KITTI AbsRel 0.076 対 0.127（δ1\delta_1 0.947 対 0.850）、NYUv2 0.043 対 0.048、Sintel 0.458 対 0.587、DDAD 0.230 対 0.251、ETH3D 0.127 対 0.139、DIODE 0.066 対 0.075——そしてMiDaSはKITTI/NYUv2上で完全にゼロショットではなかった（それらの画像で学習している；Depth Anythingはしていない）。ViT-BモデルはすでにMiDaSの大型ViT-Lモデルを上回り、ViT-S（サイズが1/10未満）さえもSintel、DDAD、ETH3Dで勝つ。ドメイン内メトリック深度用にファインチューンする（ZoeDepthフレームワーク）と、NYUv2のδ1\delta_1を0.964から0.984へ、AbsRelを0.069から0.056へ、これまでの最良（VPD）から改善し、KITTIのδ1\delta_1を0.978から0.982へ改善する；論文はまた、より強いゼロショットメトリック転移、同じエンコーダによる強力なセマンティックセグメンテーション、そしてより優れた深度条件付きControlNetも報告している。

SLAMにおける意義

単眼SLAMは長らく、スケール、マップの密度、初期化、そして視差の少ない動きにおけるロバスト性のために、どこでも使える深度事前分布を望んでいた。Depth Anythingは「深度基盤モデルを呼び出すだけ」を現実的な設計選択にした：任意の屋内/屋外画像上でもっともらしい密な深度を出力する単一のネットワークであり、リアルタイムのフロントエンドに十分高速なバリアントも備える。それはデータスケーリングというパラダイムを幾何的知覚のために確立した——多様なラベルなしデータはより多くの教師付きラベルに勝る——そして（V2と共に）密な・ニューラルSLAMパイプラインに組み込まれる既定の深度バックボーンとなった。

関連ノート