TartanVO

Wang 2021 · 論文

一行要約 — TartanAirの多様な合成データのみで学習され、ファインチューニングなしに複数の実世界データセットに一般化する、初の学習ベースvisual odometryモデル。

問題

従来の学習ベースVO手法は同一のデータセット（通常KITTI）で学習・評価され、異なる領域への一般化に失敗していた。一方で古典的な幾何学的VOは一般化はできるが、モーションブラー、激しい回転、照明変化に苦しむ。本論文はその原因を2つ特定している。(1) シーンとモーションパターンの多様性が不十分な学習データ、(2) 多視点幾何における2つの根本的な曖昧性——モノキュラーのスケール曖昧性とカメラ内部パラメータへの依存性——を無視していること。これにより「一つのデータセットから学習されたモデルは、特徴抽出器がいかに優れていても、別のデータセットでは失敗する可能性が高い」。

手法とアーキテクチャ

2段階ネットワーク。 連続する歪み補正済み画像$\{I_t, I_{t+1}\}$が与えられると、マッチングモジュール$M_\theta(I_t, I_{t+1})$（事前学習済みPWC-Net）が密なオプティカルフロー$F_t^{t+1}$を推定し、ポーズモジュール$P_\phi(F_t^{t+1}, K)$（並行変換と回転を別ヘッドで扱う、バッチ正規化なしの改造版ResNet50）が相対モーション$\delta_t^{t+1} = (T, R)$、$T \in \mathbb{R}^3$、$R \in so(3)$を回帰する。end-to-endの目的関数は両者を同時に教師付けする:

$$L = \lambda L_f + L_p = \lambda \lVert M_\theta(I_t, I_{t+1}) - F_t^{t+1} \rVert + \lVert P_\phi(\hat{F}_t^{t+1}) - \delta_t^{t+1} \rVert$$

スケール不定損失。 モノキュラー画像からはモーションのスケールは観測不可能なため、並行移動の方向のみが教師付けされる（回転損失は変更なし）。論文で使われる正規化距離形式は

$$L_p^{norm} = \left\lVert \frac{\hat{T}}{\max(\lVert\hat{T}\rVert, \epsilon)} - \frac{T}{\max(\lVert T \rVert, \epsilon)} \right\rVert + \lVert \hat{R} - R \rVert, \qquad \epsilon = 10^{-6}$$

である（コサイン類似度による変種も同程度の性能を示す）。これにより、スケールを意識した損失が残してしまう学習/評価間の並行移動損失のギャップが解消される。

内部パラメータ層（IL）。 内部パラメータの曖昧性を解決するため、内部パラメータ$K = \{f_x, f_y, o_x, o_y\}$から構築された2チャンネルマップ$K^c \in \mathbb{R}^{2\times H\times W}$が、ポーズネットワークの前段でフローに連結される:

$$K_x^c = (X_{ind} - o_x)/f_x, \qquad K_y^c = (Y_{ind} - o_y)/f_y$$

これにより各フロー成分に正規化された2D位置が与えられる——これは幾何学的手法がマッチからポーズを復元するために必要とする情報と同じである。TartanAirは固定カメラ1台のみ持つため（$f_x = f_y = 320$, $o_x = 320$, $o_y = 240$）、ランダムクロップ&リサイズ（RCR、リサイズ係数は最大2.5）により、$40^{\circ}$から$90^{\circ}$までのFoVを持つ仮想カメラを合成する。

学習。 TartanAirのみ（40万フレーム以上、20環境、うち3つはホールドアウト）で学習される。まず$P_\phi$のみを正解フローで学習し（10万反復、バッチサイズ100）、その後$M_\theta$と結合学習する（5万反復、バッチサイズ64）。推論はGTX 1080上でペアあたり40 msかかる。全ての評価データセットで同一の重みが使われ——どこにおいてもファインチューニングは行われない。

実験結果

• アブレーション: 学習/評価間の一般化ギャップは、学習データが2万から10万、40万フレームへと増えるにつれ単調に縮小する。内部パラメータ層は内部パラメータが変動する場合に決定的に重要である（RCR下でILあり0.0723、なし0.1999の評価損失）。RCR+ILによる学習は、固定内部パラメータのみでの学習より良く一般化する。
• KITTI（ゼロショット、2フレームVOのみ）: シーケンス06/07/09/10平均で$t_{rel}$ 5.48% / $r_{rel}$ 3.05°/100 m——KITTI学習済みのDeepVO（5.81/6.41）を上回り、幾何ベースのVISO2-M（15.04/7.62）やモノキュラーORB-SLAMの$t_{rel}$（12.16）を大きく上回る。これはKITTIを一度も見ずに達成されている。
• EuRoC（ゼロショット）: バックエンド最適化なしで幾何ベース手法と競合するATEを達成し、最も難しい2シーケンスでは比較した全手法中最良——VR1-03（0.64、DSOの0.93に対し。SVO/ORB-SLAM/LSD-SLAMは失敗）およびVR2-03（1.04、DSOの1.16に対し）。
• TartanAirチャレンジシーケンス: 16の難しいテスト軌跡すべてを追跡（MH000-007の平均ATE 1.92）、これに対しORB-SLAMは8つ中2つで失敗し、MH006で21.47に達する。
• 実IRカメラ: RealSense D435iの赤外線入力において、専用のT265トラッキングカメラ（魚眼ステレオ+IMU）の軌跡に近い結果を示す——学習時に実画像やIR画像を一度も見ていないにもかかわらずである。

SLAMにおける意義

TartanVOはvisual odometryにおいてsim-to-realの転移が実現可能であることを示した。シミュレーションのみで学習された単一モデルがKITTI、EuRoC、実IR映像に一般化し、古典的な幾何学的パイプラインが失敗する条件（モーションブラー、激しいMAVの動き、低照度）でも性能を維持した。その2つの永続的な教訓——大規模で多様な合成データで学習すること、そして幾何学的不変性（スケール、内部パラメータ）をモデルに組み込むこと——は、いずれもTartanAirで学習されたDROID-SLAM、DPVO、MAC-VOに直接引き継がれている。MAC-VOはTartanVOをモーションモデルの初期化子としてさえ使用している。

関連ノート

• DROID-SLAM — 類似の合成データ学習戦略を採用した学習ベースSLAM
• DPVO — 学習ベースvisual odometryにおける疎なパッチベースの後継手法
• MAC-VO — メトリクス考慮共分散を持つ学習ベースステレオVO
• DeepVO — クロスデータセット一般化に欠けていた、より初期のend-to-endポーズ回帰手法
• PWC-Net — TartanVOが使用するオプティカルフローバックボーンファミリー
• RAFT — 次世代の学習ベースVOを支えたフローアーキテクチャ