DeMoN

Ummenhofer 2017 · 論文

一行要約 — DeMoN（CVPR 2017）は2視点構造復元運動(SfM)を学習問題として定式化した。スタックされたエンコーダ・デコーダネットワークの連鎖が、制約のない画像ペアから深度とカメラモーションを同時に推定し、強制的なオプティカルフロー予測を通じて対応関係を学習する。

問題

古典的な2視点SfMは、特徴点検出、記述子マッチング、essential行列推定、密なステレオを連鎖させる——モーションはまず疎で外れ値の多い対応関係から推定されるため、モーション推定が悪ければ深度が汚染され、テクスチャの少ない領域は失敗し、既存の全パイプラインは小さなカメラ並進で破綻する。単一画像の深度ネットワークはマッチングを回避するが、外観の事前分布のみに依存するため学習データの分布外での汎化性能が低い。DeMoNは連続する制約のない画像ペアから深度とモーションを計算するネットワークをエンドツーエンドで学習し——素朴なアプローチが失敗することを示す。すなわち2フレームを入力する単純なエンコーダ・デコーダは単一画像のショートカットを取ってしまい、2枚目の画像を単に無視する。

手法とアーキテクチャ

• 連鎖する3つの構成要素：ブートストラップネット→反復ネット→リファインメントネット。 ブートストラップと反復の各構成要素はそれぞれ一対のエンコーダ・デコーダである：1つ目は画像ペアからオプティカルフローとフロー信頼度マップを予測する（エンコーダは大きな受容野を得るために1Dフィルタの対を用いる）；2つ目はフロー、信頼度、画像、フローでワープした2枚目の画像を受け取り、深度、法線、そして3つの全結合層を通じてカメラモーション$\mathbf{r},\mathbf{t}$と深度スケール係数$s$を予測する。
• マッチングの強制。 フロー予測には両画像を使う必要があり、そのフローを深度・モーションネットワークに渡すことで、動き視差(motion parallax)を利用させる。これがアーキテクチャ上の鍵となるトリックである：素朴な2フレーム深度は単一画像と同程度の性能しかない（L1-inv 0.079 対 0.080）が、DeMoNは0.012に達する。
• パラメータ化。 回転$\mathbf{r}=\theta\mathbf{v}$（角度軸）、並進はスケールゲージを固定するために$\|\mathbf{t}\|=1$に正規化；ネットワークは逆深度$\xi=1/z$（無限遠点を扱える）とスカラー$s$を予測し、最終深度は$s\xi$となる。
• 反復ネット。 前回の深度・モーションをフロー提案に変換し、そのフローを深度提案に変換して再推定する——重みを共有した学習型の反復リファインメントである。学習時はイテレーションを展開せず（イテレーションを通じたバックプロパゲーションなし）、前回の学習イテレーションの予測をミニバッチに追加することでメモリを節約する；改善は3～4回のイテレーションで飽和する。リファインメントネットは64×48の推定値をフル解像度256×192にアップサンプリングする。3回のイテレーションでの順伝播はGTX Titan Xで110msかかる。
• 損失関数。 スケール済み逆深度に対するL1、$\mathcal{L}_{\text{depth}}=\sum_{i,j}|s\,\xi(i,j)-\hat{\xi}(i,j)|$；法線とフローに対するL2；正解$\hat{c}_{x}=e^{-|\mathbf{w}_{x}-\hat{\mathbf{w}}_{x}|}$を用いた信頼度損失；L2モーション損失；そして本論文の特徴である、画素$(i,j)$における離散勾配から構築されたスケール不変勾配損失、

$$\mathbf{g}_{h}[f]=\left(\tfrac{f(i+h,j)-f(i,j)}{|f(i+h,j)|+|f(i,j)|},\ \tfrac{f(i,j+h)-f(i,j)}{|f(i,j+h)|+|f(i,j)|}\right)^{\top},$$

$$\mathcal{L}_{\text{grad}\,\xi}=\sum_{h\in\{1,2,4,8,16\}}\sum_{i,j}\left\|\ \mathbf{g}_{h}[\xi]-\mathbf{g}_{h}[\hat{\xi}]\ \right\|_{2},$$

これは5つの間隔にわたって近傍間の相対深度誤差にペナルティを課す——深度の不連続部を鋭くし、均一な領域を滑らかにする。

• 学習データ。 SUN3D、RGB-D SLAM、MVS再構成、合成データセットScenes11、著者らのBlendswapセット；CaffeとAdamを使用し、3段階で学習（逐次的なエンコーダ・デコーダ、その後ジョイントな反復学習、最後にリファインメント）。

実験結果

• 古典的な2フレームSfMとの比較（SIFTまたはFlowFieldsの対応関係＋8点法/RANSAC＋再投影リファインメント＋プレーンスイープステレオから構築したベースライン）：DeMoNは深度とモーションで「ほとんどのデータセットで1.5～2倍の差」で勝る——例えばSun3D：L1-rel 0.172 対 0.297（Base-FF）、回転誤差1.80°対3.68°、並進方向誤差18.8°対33.3°；Scenes11：回転0.81°、並進8.9°。テクスチャの豊富なMVSでのみ、フローベースのベースラインがモーションで同等となる。
• MVS以外の全データセットで、DeMoNの深度はBase-Oracle——正解モーションを与えられた古典的ステレオ——さえも上回る（例えばSun3D sc-inv 0.114 対 0.241）。
• 単一画像深度との比較（Eigen&Fergus VGG、Liu et al.）：NYUv2（それらの学習ドメイン）を除く全データセットで優れている。異常なシーン（彫像、クローズアップ、90°回転画像）を集めた自己記録の汎化セットでは：L1-inv 0.041 対 0.062（Eigen）と0.055（Liu）——外観の事前分布が失敗する場所で動き視差が汎化する。
• 縮退した小さい/ゼロベースラインの場合も適切に扱い、ペアワイズなモーションを連結するとRGB-D SLAMシーケンス上で局所的に一貫した軌道が得られる（並進ドリフトあり、ループクロージングなし）——「この結果はDeMoNがそうした[SLAM]システムに統合できることを確信させる」。

SLAMにおける意義

DeMoNは「2枚の画像をネットワークに入力すると幾何が出てくる」系譜の祖先である。学習された2視点幾何には認識だけでなくマッチングが必要であることを示した——このレッスンは今もフロントエンド設計を形作っている——そしてその学習型反復リファインメントはBA-Net、DeepV2D、RAFT系システムを先取りしており、その制約のない2視点設定こそまさにDUSt3Rが基盤モデルのスケールで再訪するものである。

関連ノート

• BA-Net
• DeepV2D
• SfM-Learner
• FlowNet
• DUSt3R