Depth from Videos in the Wild

Gordon 2019 · 論文

一行要約 — この研究（ICCV 2019）は、深度、エゴモーション、物体モーションと共にカメラ内部パラメータ（レンズ歪みを含む）を学習することで、自己教師あり深度学習を真に制約のないビデオへと押し進め、未知のカメラでの任意のビデオでの学習を可能にした。

問題

SfM-Learnerの系譜にある自己教師あり深度手法は、1つのフレームを別のフレームにワープして光度誤差にペナルティを課すことで生のビデオから学習する——しかしそれらはカメラ内部パラメータが既知であることを仮定しており、学習をKITTIのようなキャリブレーション済みデータセットに限定してしまう。またシーンに独立に動く物体やオクルージョンが含まれると性能が劣化する。目標が世界中のビデオ（任意のカメラ、任意のコンテンツ）から幾何を学習することであるなら、キャリブレーションと静的シーンの仮定の両方を取り除く必要がある。

手法とアーキテクチャ

2つの畳み込みネットワークが、フレーム間の一貫性のみを教師信号として同時に学習される：単一画像から深度を予測する深度ネットワーク（ResNet-18ベースのUNet、ロジットを深度にマッピングするsoftplus活性化$z=\log(1+\mathrm{e}^{\ell})$）と、2枚のフレームからカメラ回転$r_0$、大域的並進$t_0$、画素ごとの残差並進場、そしてカメラ内部パラメータを予測するモーションネットワーク（FlowNetに触発されたUNet）——各内部パラメータはボトルネックから独自の1x1畳み込みによって出力される。隣接フレーム間のバックボーンワープは

$$z^{\prime}p^{\prime}=KRK^{-1}zp+Kt,$$

ここで$K$は内部パラメータ行列、$p,p^{\prime}$は同次画素座標、$z,z^{\prime}$は深度、$R,t$はモーションである。

なぜ内部パラメータが学習可能か。 損失は$K$に、$Kt$と$KRK^{-1}$を通じてのみ依存する；並進はシグナルを与えない（誤った$\tilde{K}$に対して$\tilde{t}=\tilde{K}^{-1}Kt$とすれば損失は変わらない）が、回転はシグナルを与える——どの$\tilde{K},\tilde{R}$も$KRK^{-1}$を再現できない。論文はフレーム間の回転から焦点距離の許容誤差を導出する：

$$\delta f_{x}<\frac{2f_{x}^{2}}{w^{2}r_{y}};\quad\delta f_{y}<\frac{2f_{y}^{2}}{h^{2}r_{x}},$$

ここで$r_x,r_y$は回転角度（ラジアン）、$w,h$は画像サイズである——回転が大きいほど焦点距離がより厳密に固定される。

物体モーション。 $R$は画像全体で一定に保たれる；$t$は粗い「動く可能性がある」マスク$m$の内部でのみ一定値から逸脱してよい（検出バウンディングボックスの和集合で十分——インスタンスセグメンテーションやトラッキングは不要）：

$$t(x,y)=t_{0}+m(x,y)\,\delta t(x,y).$$

オクルージョンを考慮した損失。 各ソース画素はその予測深度で逆投影され、モーション場によって移動し、再投影される；ある画素が（L1光度＋深度＋モーションのサイクル一貫性）損失に入るのは、変換後の深度が$z^{\prime}_{i^{\prime},j^{\prime}}\leq z^{t}_{i^{\prime},j^{\prime}}$を満たす場合、つまり目標深度マップの手前に位置する場合のみである——両方向に対称的に適用される。SSIMは深度の食い違いが大きい場所では重みが下げられる。ランダム化レイヤー正規化——平均と分散に乗法的なガウスノイズを加えたレイヤー正規化——が、異常な挙動（バッチサイズと共に精度が劣化する）を示していたバッチ正規化に置き換わる。

実験結果

• KITTI（Eigen split、80m カットオフ）：学習された内部パラメータでAbs Rel 0.128、対して既知の内部パラメータで0.129——いずれもStruct2Depth（0.141）、Godard（0.133）、GeoNet（0.155）を上回る。
• Cityscapes：Abs Rel 0.127（学習された内部パラメータ）、対してStruct2Depthは0.145。
• CityscapesとKITTIを統合（内部パラメータを学習）すると両方が改善する：CSで Abs Rel 0.121、KITTIで0.124。統合セットでのアブレーション：物体モーションなしで0.172/0.130、オクルージョンを考慮した損失なしで0.127/0.126、ランダム化レイヤー正規化なしで0.124/0.127；セグメンテーションマスクの代わりにバウンディングボックスを使っても同程度の性能（0.120/0.125）。
• 内部パラメータの精度（EuRoC）：学習された$f_x = 253.7\pm 1.1$ 対 正解250.2、$f_y = 265.4\pm 1.3$ 対 261.3、二次半径方向歪み$-0.267\pm 0.003$ 対 $-0.283$——いずれも数画素以内。EuRocのサンプル外深度（machine-roomで学習、Vicon Room 2 01でテスト）：Abs Rel 0.332、このデータセットには先行研究がない。
• オドメトリ（KITTI 09/10）：学習・補正された内部パラメータでの並進ドリフト$t_{rel}$は2.7%/6.8%、対してStruct2Depthは10.2%/28.9%；ATE 0.010/0.007。
• YouTube8Mのクアッドコプター映像から学習された定性的な深度——視野角や歪みが異なる複数の未知カメラ。

SLAMにおける意義

この論文は、無制限のビデオから幾何を学習する上での最後の実用的な障壁——キャリブレーション——を取り除いた。カメラパラメータを単に別の学習可能な出力として扱うという発想は、学習型カメラモデル（Neural Ray Surfaces）に再登場し、今日のキャリブレーション不要なフィードフォワード再構成（DUSt3R系モデルが内部パラメータを与えられずに幾何を予測する）とも響き合う。SLAM実践者にとっては、光度自己教師あり学習の内部で動的物体とオクルージョンを扱うための参照点でもある——これは直接法の根強い失敗モードである。

関連ノート

• SfM-Learner
• Self-supervised depth
• Neural Ray Surfaces
• MonoDepth
• DUSt3R