Depth Anything V2

Yang 2024 · 論文

一行要約 — Depth Anything V2は、3つの実践によりV1よりもはるかに精細でロバストな単眼深度を生成する：教師モデルを精密な合成画像のみで学習する、教師モデルをDINOv2-Gまでスケールアップする、6200万枚の疑似ラベル付き実画像を通じて生徒モデルを教える。

問題

Depth Anything V1は印象的な汎化性能を示したが、その教師モデルはラベル付き実画像で学習されており、その深度ラベルはノイジーで粗い——深度センサは透明な物体で失敗し、ステレオマッチングは繰り返しパターンで失敗し、SfMは動的物体で失敗する——そのため学習済みモデルはそれらの誤りを継承する（MiDaSとV1はTransparent Surface Challengeでそれぞれ25.9%と53.5%しか得点できない）。合成レンダリングは画素単位で完璧な深度（「真のGT」）を持つが、2つの障害をもたらす：合成から実へのドメインシフト（合成画像は「清潔」で「整然」としすぎている）と、事前定義されたシーン種別による制限されたシーンカバレッジである。V2は「凝った技術を追求せずに」、ドメインギャップというペナルティを払わずに合成ラベルの精密さを得る方法を問う。

手法とアーキテクチャ

パイプラインは3段階からなる（論文の図7）。

1. 合成データのみで学習する教師モデル。 DPT深度デコーダを備えたDINOv2-G（13億パラメータ）エンコーダを、5つのデータセット（BlendedMVS 11.5万枚、Hypersim 6万枚、IRS 10.3万枚、TartanAir 30.6万枚、VKITTI 2 2万枚）から得た59.5万枚の精密な合成画像のみで学習する。予備調査では、合成から実への転移を乗り切れるのはDINOv2-Gのみであることが示された；BEiT、SAM、SynCLR、およびより小さなDINOv2エンコーダはいずれも深刻な汎化問題を抱える。
2. 実画像への疑似ラベル付け。 教師モデルは8つの公開データセット（BDD100K、Google Landmarks、ImageNet-21K、LSUN、Objects365、Open Images V7、Places365、SA-1B）から得た6200万枚のラベルなし実画像に深度を割り当てる。これらの疑似ラベルは人手アノテーションよりも精細かつ完全である。
3. 疑似ラベルのみで学習する生徒モデル。 4つの生徒モデル（DINOv2のsmall/base/large/giant、2500万～13億パラメータ）は疑似ラベル付き実画像のみで学習される——アブレーションでは、この段階で合成画像を除外することが小さいモデルにはわずかに有利であることが示されている。これはラベルレベルの蒸留であり、追加のラベルなしデータを介したものであるため、教師と生徒の間に大きなスケールギャップがある特徴レベル蒸留よりも安全である。

ラベル付き（合成）画像に対する学習目的は、アフィン不変逆深度に対するMiDaS風の2つの損失を組み合わせる：スケール・シフト不変損失$\mathcal{L}_{ssi}$と勾配マッチング損失$\mathcal{L}_{gm}$、重みは1:2——$\mathcal{L}_{gm}$はラベルが合成のときに「深度の鮮明さに極めて有益」であることが分かった。疑似ラベル付き画像では、サンプルごとに損失が最大の上位$n$領域（$n=10\%$）はノイズの可能性があるとして無視され、（V1由来の）特徴アライメント損失がDINOv2のセマンティクスを保持する。全画像は$518\times 518$で学習される：教師モデルはバッチサイズ64で16万イテレーション、生徒モデルはバッチサイズ192で48万イテレーション、Adamでエンコーダ/デコーダの学習率は5e-6/5e-5。

論文はまたDA-2Kという評価ベンチマークも提供する。これは既存のテストセット（NYU-D、KITTI）がノイジーなラベル、単一シーンバイアス、約500×500の解像度を持つために構築された、2000個の疎な相対深度ピクセルペアを持つ1000枚の高解像度で多様な画像のベンチマークである：SAMでプロンプトされた点ペアは4つのエキスパートモデルによって投票され、不一致は3回チェックされた人手アノテーションに送られる。

実験結果

• ゼロショット相対深度（表2）：V2 ViT-LはKITTIでAbsRel 0.074 / $\delta_1$ 0.946、NYU-Dで0.045 / 0.979に達する——MiDaS V3.1（KITTIで0.127/0.850）より優れているが、V1とはほぼ同等であり、著者らはこれをモデル品質ではなくこれらのベンチマークのノイズを反映したものだと論じている。
• DA-2K（表3）：V2 ViT-Sは95.3%の精度、ViT-Bは97.0%、ViT-Lは97.1%、ViT-Gは97.4%——対してMarigoldは86.8%、Geowizardは88.1%、DepthFMは85.8%、Depth Anything V1は88.5%。最小のV2でさえコミュニティの全モデルを上回る；最大のモデルはMarigoldより10.6%上回る。
• Transparent Surface Challenge：ゼロショットで83.6%、対してV1は53.5%、MiDaSは25.9%。
• ファインチューン済みメトリック深度（ZoeDepthパイプライン、表4）：ViT-LはNYU-Dで$\delta_1$ 0.984 / AbsRel 0.056 / RMSE 0.206、KITTIで$\delta_1$ 0.983 / AbsRel 0.045 / RMSE 1.861を得る；ViT-Sバリアントさえも、ZoeDepthのようなViT-Lベースの既存手法を上回る。
• アブレーション：疑似ラベル付き実画像を追加するとViT-SのDA-2K精度が89.8%から95.3%に上昇する（表5）；手動ラベルの代わりに疑似ラベルでDIMLを再学習すると、DA-2K精度が80.2%から89.7%に上昇する（表6）。SDベースのモデルと比較して、V2は10倍以上高速で、より精度も高い。

SLAMにおける意義

鮮明でエッジを保持する深度はSLAMに直接重要である：くっきりした物体境界は、より清潔なTSDF/ガウシアンマップとシルエット間の深度のにじみの減少を意味し、小型バリアントは控えめなハードウェアでリアルタイムに動作する。現代の密なSLAM論文が「単眼深度事前分布を使用する」と言うとき、それは非常に多くの場合Depth Anything V2を意味する——その失敗モードと相対対メトリックの区別を必須の実務知識にしている。その合成データファーストのレシピ（レンダリングからの精密さ、疑似ラベル付き実データからのリアリズム）もまた、幾何タスクの教師データがどのように調達されるかを再形成した。

関連ノート

• Depth Anything
• Marigold
• Metric3D
• MiDaS
• Align3R