DeepTAM

Zhou 2018 · 論文

一行要約 — DeepTAM(ECCV 2018)はDTAMを学習で再構想したものである。coarse-to-fineのトラッキングネットワークが、合成されたキーフレームビューに対する姿勢の増分を推定し、マッピングネットワークは現在の推定値の周りの狭帯域で精緻化されるプレーンスイープコストボリュームからキーフレーム深度を抽出する。

問題

古典的な密トラッキング・アンド・マッピング(DTAM、LSD-SLAM)は、直接的な光度最小化と手作りの正則化項に依存しており、テクスチャの少ない領域では脆く、良い初期化を必要とする。単純な学習型の代替手法(DeepVO、SfM-Learner、UnDeepVO)は2フレーム間の運動を回帰するが、これは学習データセットの運動統計(KITTI風の平面的な3自由度運動)を引き継いでしまい、完全な6自由度トラッキングへの一般化が乏しい。DeepTAMは、キーフレームベースの密なカメラトラッキングと深度マップ推定を、実績のあるトラッキング/マッピングアーキテクチャを保持しつつ完全に学習で実現できるかを問う。

手法とアーキテクチャ

トラッキング。 現在の画像 $\mathbf{I}^C$ とキーフレーム $(\mathbf{I}^K, \mathbf{D}^K)$(画像+逆深度)が与えられたとき、目標は変換 $\mathbf{T}^{KC}$ であり、$\mathbf{T}^{C}=\mathbf{T}^{K}\mathbf{T}^{KC}$、すべて $\mathbf{SE}(3)$ 上にある。これを直接回帰する代わりに、DeepTAMは現在の姿勢推定値 $\mathbf{T}^V$ で仮想キーフレーム $(\mathbf{I}^V, \mathbf{D}^V)$ をレンダリングし、小さな増分のみを学習する:

$$\mathbf{T}^{C}=\mathbf{T}^{V}\,\delta\mathbf{T}, \qquad \delta\mathbf{T}=f(\mathbf{I}^{C},\mathbf{I}^{V},\mathbf{D}^{V}),$$

これは「学習問題を大幅に簡素化し、カメラ運動に関するデータセットの偏りを緩和する」。3つのエンコーダ・デコーダネットワークが $80\times 60$、$160\times 120$、$320\times 240$ でcoarse-to-fineに実行され、それぞれ新たにレンダリングされた仮想キーフレームに対する増分 $\delta\mathbf{T}_i$ を予測し、最終的な姿勢はすべての増分の積となる。補助的なオプティカルフロー分岐(学習中のみ有効)は、エンコーダに運動特徴を学習させる役割を持つ。単一の姿勢の代わりに、重み共有された $N=64$ 個の全結合分岐が仮説 $\delta\boldsymbol{\xi}_i=(\mathbf{r}_i,\mathbf{t}_i)^{\top}$(角軸表現の回転+並進)を出力し、次のように平均される:

$$\delta\boldsymbol{\xi}=\frac{1}{N}\sum_{i=1}^{N=64}\delta\boldsymbol{\xi}_{i}.$$

損失 $\mathcal{L}_{\text{tracking}}=\mathcal{L}_{\text{flow}}+\mathcal{L}_{\text{motion}}+\mathcal{L}_{\text{uncertainty}}$ は、フローの端点誤差、重み付き姿勢誤差 $\mathcal{L}_{\text{motion}}=\alpha\lVert\mathbf{r}-\mathbf{r}_{\text{gt}}\rVert_2+\lVert\mathbf{t}-\mathbf{t}_{\text{gt}}\rVert_2$、そして仮説のばらつき(サンプルから推定される共分散 $\mathbf{\Sigma}$)に対する多変量ラプラス分布の負の対数尤度を組み合わせたものであり、これによりネットワークは異なる仮説を予測するよう促される。仮想キーフレームはデータ拡張としても機能する。真値の周りで $\mathbf{T}^V_0$ をサンプリングすることで、偏った学習データ(SUN3D、SUNCG)にもかかわらず、すべての6自由度運動をシミュレートできる。

マッピング。 キーフレームごとの深度はプレーンスイープコストボリュームから得られる。ピクセル $\mathbf{x}$ と深度ラベル $d$ について、光整合性は $m$ フレームにわたって累積される:

$$\mathbf{C}(\mathbf{x},d)=\sum_{i\in\{1,..,m\}}\rho_{i}(\mathbf{x},d)\cdot w_{i}(\mathbf{x}),$$

ここで $\rho_i$ はキーフレームとワープされた画像との間の $3\times 3$ パッチのSAD(絶対差分和)であり、$w_i$ はコスト曲線が明確な一意の最小値 $d^*$ を持つ場合に1に近くなるマッチング信頼度の重みである。固定帯域モジュール(深度範囲全体に均等に配置された32個のラベル、入力は $\mathbf{I}^K$ +コストボリューム)は補間係数 $\mathbf{s}_{fb}$ を回帰し、$\mathbf{D}_{fb}=(1-\mathbf{s}_{fb})\cdot d_{min}+\mathbf{s}_{fb}\cdot d_{max}$ を与える――これはスケールに依存しない出力であり、一般化を助ける。次に狭帯域モジュールが反復する:前の推定値を中心としたピクセルごとのラベル $b_{i}=d_{\text{prev}}+i\cdot\sigma_{\text{nb}}\cdot d_{\text{prev}}$(帯域幅 $\sigma_{nb}=0.0125$)でコストボリュームを再構築する。1つのエンコーダ・デコーダはこれを学習されたコストボリュームに変換し、微分可能なソフトargminで読み出す。2つ目のエンコーダ・デコーダはその結果を正則化する――このペアは変分法におけるデータ項と平滑化項を交互に適用するのと同様に振る舞う。

実験結果

• トラッキング(TUM RGB-Dベンチマーク、並進RMSE、m/s): 平均0.040、対してKerl et al.のRGB-D SLAMのフレーム対キーフレームオドメトリは0.060――キーフレームにのみデータセットの深度を用いているにもかかわらずである。アブレーション:フロータスクなしで0.050、複数仮説なしで0.043。ベンチマークでの学習やファインチューニングは行っていない。
• トラッキング+マッピング: fr1系列全体で平均0.086、対してCNN-SLAM(ポーズグラフ最適化なしで実行)は0.253。
• マッピング(10フレーム系列、MVS/SUNCG/SUN3Dのテスト分割): すべての指標・データセットで最良――例えばMVSでL1-inv 0.036(対DTAM 0.086、DeMoN 0.059);SUNCGでsc-inv 0.128(対SGM 0.248、DTAM 0.343、DeMoN 0.383)。フレーム数が多いほど有利(MVSのL1-invは2フレームで0.117、10フレームで0.083)であり、狭帯域反復はおよそ3回で収束する(1反復で0.076、3反復で0.065)。
• 頑健性: 姿勢ノイズが増加する(標準偏差が最大 $0.6|\boldsymbol{\xi}|$ まで)条件下で、SGMとDTAMは急速に劣化するが、DeepTAMはシーン構造を保持する;ファインチューニングなしでのKITTIへの定性的な一般化も確認された。

SLAMにおける意義

DeepTAMは、古典的な密トラッキング・アンド・マッピングのアーキテクチャが深層学習への移行に耐えることを示した。構造(キーフレーム、コストボリューム、増分的アラインメント)を保持し、古典的手法が苦手とするコンポーネント(ロバストなアラインメント、深度の正則化)を学習するというアプローチである。その増分的アラインメントの考え方は、RAFTやDROID-SLAMの反復更新オペレータを先取りしており、DTAM時代の密SLAMと今日の学習型システムとをつなぐ重要な概念的リンクとなっている。

関連ノート

• DTAM
• DeepV2D
• DeMoN
• TANDEM
• DVO
• CNN-SLAM