ZoeDepth

Bhat 2023 · 論文

一行要約 — 相対深度の事前学習（MiDaS/DPT方式）と軽量なMetric Bins Moduleを組み合わせ、ゼロショットでメートル深度を生成し、単眼SLAMに絶対スケールを持つ深度事前情報を与える。

問題

単眼深度研究は2つの流派に分かれていた：ドメインを超えて一般化するが、未知のスケールとシフトまでしか深度を出力できない相対深度モデル（MiDaS、DPT）と、絶対距離を予測するが学習に使った単一のカメラ／データセットに過適合するメートル深度モデルである。SLAMはこの両方の性質を同時に必要とする — どこでもメートル単位で。深度のスケールが大きく異なるデータセット（屋内では約10m、屋外では約80m）にまたがって単一のメートルモデルを学習させると、通常は性能が劣化するか、完全に発散してしまう。

手法とアーキテクチャ

2段階学習。 ステージ1では、BEiT384-Lトランスフォーマーエンコーダを持つDPTアーキテクチャのMiDaS風エンコーダ・デコーダを、スケール・シフト不変なマルチタスク損失を用いて、12個のデータセットの混合であるM12上で相対深度について事前学習する。ステージ2では、（それぞれバックボーンのパラメータの1%未満の）1つ以上の軽量なメートルヘッドをデコーダに接続し、メートルデータセット（NYU Depth v2やKITTI、あるいは両方）でエンドツーエンドにファインチューニングする。

Metric bins module。 このヘッドはボトルネックと4つのデコーダレベル（1/32、1/16、1/8、1/4、1/2解像度）に接続される。適応的ビンの考え方に従い、ピクセル$i$における深度は、ピクセル単位のビン中心$c_i(k)$の確率重み付き結合である：

$$d(i) = \sum_{k=1}^{N_{total}} p_i(k)\, c_i(k)$$

LocalBins（少数のシードビンから始めて各デコーダ層で分割する）とは異なり、ZoeDepthはボトルネックで全$N_{total}=64$個のビン中心を予測し、各デコーダレベルでアトラクター層によってそれらを調整する：MLPがピクセルごとに$n_a$個のアトラクター点$\{a_k\}$を予測し、各ビン中心は逆アトラクターによって$c_i' = c_i + \Delta c_i$だけ移動する：

$$\Delta c_i = \sum_{k=1}^{n_a} \frac{a_k - c_i}{1 + \alpha |a_k - c_i|^{\gamma}}$$

ここで$\alpha, \gamma$はアトラクターの強さを設定し、デコーダ層にわたって$\{n_a^l\} = \{16, 8, 4, 1\}$である。アトラクトすることは収縮させることである（分割が課す幅の合計制約なしの精緻化）。

対数二項確率。 ビンは順序付けられているため、ビンにわたる確率は単純なソフトマックスではなく、予測されたモード$q$と温度$t$を持つ二項分布である：

$$p(k; N, q) = \binom{N}{k} q^k (1-q)^{N-k}$$

これはスターリングの近似を用いて対数空間で計算され、$\mathrm{softmax}(\log(p_k)/t)$によって正規化され、単峰性を保つ。ピクセルの教師付けにはスケール不変な対数損失が使われる。

ドメインヘッド＋ルーター。 共有バックボーン上の別々のメートルヘッドが屋内・屋外の専門家として機能し、ボトルネック特徴に基づくルーターMLPが画像ごとにヘッドを選択する。ラベル付き、学習済み、自動ルーターという3つのバリアントにより、推論時にシーンタイプのラベルを一切必要とせずに展開できる。

実験結果

NYU Depth v2ベンチマークにおいて、ZoeD-X-N（相対深度の事前学習なし）はREL 0.082を達成し、先行するSOTAであるNeWCRFs（REL 0.095）を13.7%上回る — メートルビンの設計単独の有効性を検証している。ZoeD-M12-N（M12事前学習、NYUファインチューニング）はREL 0.075に達し、NeWCRFsに対して合計21%の改善となる。NYU＋KITTIで同時学習した場合、旗艦の2ヘッドモデルZoeD-M12-NKはNYUでREL 0.077を保つ（NYU専用モデルからわずか2.6%の差）。一方NeWCRFsは約15%劣化する（0.095から0.109）し、AdaBins/PixelBinsは同時学習の設定では収束に失敗する；単一ヘッドバリアントはわずか8%の劣化で済む（0.081）。8つの未見データセットへのゼロショット転移では、ZoeD-M12-NKは平均相対指標（NeWCRFsに対する$\delta_1$、REL、RMSEのmRI）を、屋内でHyperSimの5.3%からDIODE Indoorの46.3%まで、屋外ではVirtual KITTI 2の7.8%からDIML Outdoorの976.4%（約11倍）まで改善する。DDADでのみ劣化する（−12.8%）。コードと事前学習済みモデルは公開されている。

SLAMにおける意義

単眼SLAMはスケールがあいまいであり、MiDaSのような相対深度ネットワークは、その出力が線形変換までしか定義されていないため、この問題を解決できない。ZoeDepthは、ドメインを超えてゼロショットでメートル深度を提供する初の実用的なモデルであり、単一のネットワークが単眼SLAMの初期化、稠密化、あるいはスケールドリフト補正のためのスケールを供給できる。この相対→メートルという学習パラダイムは、Metric3DやDepth Anythingといった後続手法にも採用され、ZoeDepthは相対深度の基盤モデルとメートルスケールのロボティクス応用をつなぐ重要な架け橋となった。

関連ノート

• MiDaS — 複数データセットにわたる相対深度のバックボーンと学習レシピ。
• DPT — ZoeDepthが基盤とするViTベースの密な予測アーキテクチャ。
• Metric3D — ゼロショットメートル深度への、正規化カメラを用いる代替経路。
• Depth Anything — 深度基盤モデルの大規模化；メートルファインチューニングにZoeDepthの枠組みを使用する。
• Depth from sensor — メートル深度ネットワークが置き換えあるいは補完しようとしている対象。
• Scale ambiguity — メートル深度事前情報が対処する単眼SLAM特有の問題。