MiDaS

Ranftl 2020 · 論文

一行要約 — スケール・シフト不変損失を用いて多数の異種データセットを混合して学習した、頑健な相対(アフィン不変)単眼深度。ドメインを超えた強力なゼロショット一般化を達成する。

問題

単眼深度推定の成功は大規模で多様な学習セットに依存するが、異なる環境にわたって規模を持つ密な正解深度を取得することは非常に困難であり、そのためこの分野は独自の特性とバイアスを持つデータセットに分裂した——ステレオ由来、レーザースキャン、構造化光であり、それぞれ独自のスケール規約、深度範囲、さらには未知または一貫性のないキャリブレーションを持つ。単一のデータセットで学習したモデルは、そのドメイン外では脆弱である。MiDaSは、アノテーションが互いに互換性がない場合でも、それらすべてで同時に学習するためのツールを構築する。

手法とアーキテクチャ

ネットワーク自体は従来型のエンコーダ・デコーダ(XianらのマルチスケールResNetベースのアーキテクチャ)である; 貢献はその周りの学習機構にある。

予測空間。 モデルはdisparity空間(逆深度)で予測を行い、未知のスケールとシフトを許容する——これはすべてのアノテーションタイプ(キャリブレーションされていないステレオ、レーザー、SfM)に互換性のある唯一の表現である。

スケール・シフト不変損失。 MM個の有効画素について、損失は予測と正解の位置合わせされたバージョンd^,d^∗\hat{d}, \hat{d}^*に対して計算される:

Lssi(d^,d^∗)=12M∑i=1Mρ(d^i−d^i∗)L_{ssi}(\hat{d}, \hat{d}^*) = \frac{1}{2M}\sum_{i=1}^{M} \rho\left(\hat{d}_i - \hat{d}_i^*\right)

1つの位置合わせは最小二乗法である: (s,t)=arg⁡min⁡s,t∑i=1M(sdi+t−di∗)2(s,t) = \arg\min_{s,t}\sum_{i=1}^{M}(s d_i + t - d_i^*)^2、閉形式で解ける。頑健な代替手法は、両方の信号を中央値/平均絶対偏差の推定量で正規化する:

t(d)=median(d),s(d)=1M∑i=1M∣d−t(d)∣,d^=d−t(d)s(d)t(d) = \mathrm{median}(d), \qquad s(d) = \frac{1}{M}\sum_{i=1}^{M}|d - t(d)|, \qquad \hat{d} = \frac{d - t(d)}{s(d)}

最良の性能を示すバリアントLssitrimL_{ssitrim}は、平均絶対誤差ρ\rhoを適用するが、画像ごとに残差の最大20%(Um=0.8MU_m = 0.8M)を除去するため、正解の外れ値が学習に影響を与えることは決してない。

勾配マッチング。 マルチスケールの勾配マッチング項が、深度の不連続性が鋭く、正解のエッジと一致するように誘導する(Ri=d^i−d^i∗R_i = \hat{d}_i - \hat{d}_i^*、K=4K=4スケール):

Lreg(d^,d^∗)=1M∑k=1K∑i=1M(∣∇xRik∣+∣∇yRik∣)L_{reg}(\hat{d},\hat{d}^*) = \frac{1}{M}\sum_{k=1}^{K}\sum_{i=1}^{M}\left(|\nabla_x R_i^k| + |\nabla_y R_i^k|\right)

データセットごとの損失はLl=1Nl∑nLssi+α LregL_l = \frac{1}{N_l}\sum_n L_{ssi} + \alpha\, L_{reg}、α=0.5\alpha = 0.5である。

パレート最適なデータセット混合。 データセット間で損失を単純に平均するのではなく、各データセットを多目的最適化(Sener & Koltun)におけるタスクとして扱い、どのデータセットも支配的にならない近似的なパレート最適解を求める。

データ: MIX 5 + 3D映画。 5つの学習セット——ReDWeb、DIML、MegaDepth、WSVD、そして新規の3D Moviesコーパス(23本のステレオ映画から約7万5千フレーム): ステレオ視点間のオプティカルフローがdisparityの代理として使われ、左右一致性チェック(2px超は無効とマーク)、自動フレームフィルタリング、空の領域は最小disparityに強制される。

エンコーダの事前学習。 エンコーダのImageNet性能が深度性能を予測する; 最良のモデルはResNeXt-101-WSLエンコーダ(弱教師あり事前学習)を使用し、最大15%の相対的改善をもたらす一方、ランダム初期化されたResNet-50は事前学習された対応物より約35%劣る。

実験結果

評価はゼロショットのクロスデータセット転移である: テストデータセット(DIW、ETH3D、Sintel、KITTI、NYU、TUM)は学習で一度も見ていない。全体のモデル(MIX 5、ResNeXt-101-WSL)は、DIW WHDR 12.46、ETH3D AbsRel 0.129、Sintel AbsRel 0.327、δ>1.25\delta > 1.25の外れ値率23.90(KITTI)、9.55(NYU)、14.29(TUM)を達成する——すべての手法の中で最良の平均順位(2.0); 最良の競合手法(Li MD、Li MC、Wang WS、Xian RW)は平均相対性能で65~82%劣る。アブレーションは、単一データセットで学習したどのモデルも、小規模で厳選されたReDWebベースラインより平均的に一般化が悪いことを示す一方、5つのセットすべてをパレート最適に混合することでそのベースラインより平均性能が22.4%改善する(単純な混合では19.5%)。トリムされたMAE損失はMSEとMAEのバリアントを上回る。学習には約6GPU月を要した。

SLAMにおける意義

MiDaS(v2/v3のDPTバックボーンバージョン)は、約5年間にわたってまさに既製の単眼深度モデルであり、そのスケール・シフト不変損失は現在、深度学習(ZoeDepth、Depth Anything、Marigold)の標準となっている。SLAMにとって、相対深度は密な事前分布として直接有用である——テクスチャの無い領域の充填、密なマッピングの正則化、単眼パイプラインでの深度初期化のために——ただし、スケールとシフトはSLAMシステム自体によってフレームごとに解決される必要があるという条件がある。

関連ノート