DeepVO

Wang 2017 · 論文

一行要約 — DeepVO(ICRA 2017)は先駆的なエンドツーエンド学習型ビジュアルオドメトリであり、生のモノキュラー映像から直接6自由度カメラ姿勢を回帰する再帰畳み込みネットワーク(RCNN)であり、古典的VOパイプライン全体を置き換える。

問題

古典的なモノキュラーVOは、標準的なパイプライン――カメラキャリブレーション、特徴検出、特徴マッチング/トラッキング、外れ値除去(RANSAC)、モーション推定、スケール推定、局所最適化(BA)――から構築されており、その各コンポーネントは「異なる環境でうまく機能するように注意深く設計され、個別にチューニングされる必要がある」うえ、絶対スケールを回復するには事前知識(例えばカメラの高さ)が必要である。DeepVOは、当時としては急進的な問いを立てる:深層ネットワークは、「従来のVOパイプラインのどのモジュールも(カメラキャリブレーションさえも)採用せずに」、生の画像系列からカメラ姿勢へのマッピング全体をエンドツーエンドで学習できるか?

手法とアーキテクチャ

• 入力テンソル。 連続するRGBフレームのペアごとに(平均を引き、64の倍数にリサイズ――例えばKITTIでは1280×384)、単一のテンソルとしてスタックされる。これにより、ネットワークは単一画像の見た目ではなくフレーム間の運動特徴を学習する。
• CNN特徴抽出器。 9層の畳み込み層からなり、それぞれReLUが続く(Conv6を除く、全17層)。受容野は7×7 → 5×5 → 3×3と縮小し、チャネル数は64 → 1024と増加する。この構造はFlowNet(事前学習済みのものから初期化)に着想を得ている。つまりオプティカルフロー的な幾何表現であり、特徴抽出+マッチングの学習された対応物である。
• 深いRNN。 それぞれ1000個の隠れ状態を持つ2層のスタック型LSTMがConv6の特徴を消費する。単純なRNNは次のように更新する:

$$\mathbf{h}_{k}=\mathcal{H}(\mathbf{W}_{xh}\mathbf{x}_{k}+\mathbf{W}_{hh}\mathbf{h}_{k-1}+\mathbf{b}_{h}), \qquad \mathbf{y}_{k}=\mathbf{W}_{hy}\mathbf{h}_{k}+\mathbf{b}_{y},$$

しかし、長期的な依存関係を捉えるためにLSTM(記憶セル $\mathbf{c}_{k}$ を伴う入力・忘却・出力ゲート)が使われる――これはフレームペアのみを見る手法が無視する運動ダイナミクスやフレーム間の関係を暗黙的にモデル化する。姿勢推定値は各時間ステップで出力される。

• 確率的な枠組みと損失。 システムは $p(\mathbf{Y}_{t}|\mathbf{X}_{t})=p(\mathbf{y}_{1},\ldots,\mathbf{y}_{t}\,|\,\mathbf{x}_{1},\ldots,\mathbf{x}_{t})$ をモデル化し、位置 $\mathbf{p}$ とオイラー角による姿勢 $\boldsymbol{\varphi}$ のMSEを最小化することで最適パラメータを求める:

$$\boldsymbol{\theta}^{*}=\operatorname*{argmin}_{\boldsymbol{\theta}}\frac{1}{N}\sum_{i=1}^{N}\sum_{k=1}^{t}\left\|\hat{\mathbf{p}}_{k}-\mathbf{p}_{k}\right\|_{2}^{2}+\kappa\left\|\hat{\boldsymbol{\varphi}}_{k}-\boldsymbol{\varphi}_{k}\right\|_{2}^{2},$$

ここでスケール因子 $\kappa=100$ は姿勢と位置のバランスを取る。四元数は単位制約が最適化を妨げるため、オイラー角が採用されている。

• 学習。 Theano、Adagrad(学習率0.001)を用い、Tesla K40上で最大200エポック、ドロップアウトと早期終了を併用する。論文では、過学習によって学習データ上では優れた軌跡が得られるが、テストVOでは大きく劣化することが示されている。

実験結果

• KITTI(真値あり)。 系列00、02、08、09で学習(7410個の部分系列サンプルに分割)、03、04、05、06、07、10でテスト(KITTI指標:100–800 mの区間長にわたる平均RMSEドリフト)。テスト系列全体の平均:DeepVOは5.96% / 6.12°/100m($t_{rel}$ / $r_{rel}$)、対してモノキュラーVISO2-Mは17.48% / 16.52、ステレオVISO2-Sは1.89% / 1.96。最良の系列は05(2.62 / 3.61)と07(3.91 / 4.60)。
• 高速時の並進誤差を除いて、モノキュラーVISO2より一貫して優れている――学習データはほぼすべて時速60km未満であった。軌跡が長くなるにつれ、誤差はステレオVISO2に近づいていく。
• KITTI系列11–21(真値なし)。 00–10全体で学習した場合、その軌跡はVISO2-Mよりはるかに優れており、ステレオVISO2-Sとおおむね同程度――ただし系列12(時速50–90km、高速学習データが少ない)は例外である。
• スケール。 絶対スケールは「ネットワーク自身によって完全に維持され、エンドツーエンド学習の中で暗黙的に学習される」――スケール推定や真値への事後アラインメントは一切行わない。
• 結論では、学習型VOを幾何ベースの手法の「代替」ではなく「有用な補完」として明確に位置づけている――これは後に妥当性が確認された見方である。

SLAMにおける意義

DeepVOは、多くのカリキュラムにおいて「学習型SLAM」が始まる地点である。手作りのエンジニアリングなし、暗黙のスケール、RNNによる時間的事前分布といった見込みと、学習ドメインの記憶化(論文自身の高速走行での失敗)という核心的な限界の両方を示した。DeepVOがなぜ一般化に苦しむのか――ネットワークのどこにも明示的な幾何が存在しない――を理解することは、自己教師あり系列(SfM-Learner、UnDeepVO)やそれに続く幾何ハイブリッドシステムに対する最良のモチベーションとなる。

関連ノート

• SfM-Learner
• UndeepVO
• PoseNet
• FlowNet
• TartanVO
• DeepSLAM