BA-Net

Tang 2019 · 論文

一行要約 — BA-Net(ICLR 2019)はバンドル調整を微分可能なネットワーク層とし、学習された特徴ピラミッドとコンパクトな基底深度マップパラメータ化を用いた feature-metric BA によって密な SfM をエンドツーエンドで学習して解いた。

問題

従来の SfM パイプラインはモジュール化されている——特徴抽出、マッチング、バンドル調整はそれぞれ独立に設計・最適化される——ため、特徴が本来担うべき幾何推定に最適化されることは決してない。幾何的 BA はコーナーやブロブのみを用い、マッチングの外れ値に苦しむ。フォトメトリック(直接)BA はすべてのピクセルを用いるが、その目的関数は強く非凸であり、初期化・露出変化・移動物体に敏感である。学習と BA を統合する障害は、BA が2つの微分不可能な if-else 判断を含む反復的な Levenberg–Marquardt(LM)手続きであることにある: 収束閾値による終了判定と、減衰係数 $\lambda$ の増減更新である。BA-Net は問う: 微分可能な BA 層を通して密な SfM を解くことで、再構成損失からの勾配で特徴自体を学習できるだろうか?

手法とアーキテクチャ

ネットワークは複数の画像を入力とし、カメラ姿勢 $\mathbb{T}$ と密な深度マップ $\mathbb{D}$ を出力する。共有の DRN-54 バックボーンが2つのヘッドに特徴を供給し、それらの出力が BA-Layer で合流する。

• 特徴ピラミッド(BA が整合させる対象)。 FPN 方式のトップダウン経路とラテラル接続により、バックボーンマップ $C^{k+1}$ を2倍にアップサンプリングし $C^k$ と連結し、$3\times 3$ の畳み込みで128チャンネルに削減して、画像ごとにピラミッド $F_i = [F^1_i, F^2_i, F^3_i]$ を得る。BA は輝度誤差や再投影誤差ではなく feature-metric error を最小化する:

$$e^{f}_{i,j}(\mathcal{X}) = F_i\big(\pi(\mathbf{T}_i,\, d_j \cdot \mathbf{q}_j)\big) - F_1(\mathbf{q}_j),$$

ここで $\pi$ は3D点を画像に投影し、$\mathbf{q}_j$ は画像 $I_1$ 内の深度 $d_j$ を持つ正規化されたピクセルであり、$\mathbf{T}_i$ は画像 $I_i$ の姿勢である。BA を通して学習されることで、学習済み特徴は(RGB 距離や事前学習済み分類特徴と異なり)滑らかな盆地を持つ明確な大域的最小値を発達させ、収束半径を拡大する。

• 基底深度マップ(BA が最適化する対象)。 ピクセルごとの深度($320\times 240$ で76,800個の未知数)は、最後の特徴マップが128個の基底深度マップ $\mathbf{B}$(サイズ $128 \times h\cdot w$ の行列)として機能する学習済みの単眼エンコーダ・デコーダに置き換えられる:

$$\mathbb{D} = \mathrm{ReLU}(\mathbf{w}^{\top}\mathbf{B}),$$

したがって BA は結合重み $\mathbf{w}$(学習済みの初期値 $\mathbf{w}_0$ を持つ)のみを最適化し、ReLU が深度を非負に保ちつつ、密なピクセルごとの深度が復元される。

• BA-Layer(微分可能な LM)。 各イテレーションで残差 $E(\mathcal{X})$、ヤコビアン $J(\mathcal{X})$、Gauss–Newton ヘッシアン $J^{\top}J$ とその対角成分 $D(\mathcal{X})$ を計算し、標準的な LM ステップを実行する。

$$\Delta\mathcal{X} = \big(J(\mathcal{X})^{\top}J(\mathcal{X}) + \lambda D(\mathcal{X})\big)^{-1} J(\mathcal{X})^{\top} E(\mathcal{X}).$$

2つの微分不可能な判断は、(i) イテレーション数を固定すること(「不完全な最適化」: ピラミッドレベルごとに5回の LM イテレーション、3レベルの coarse-to-fine で合計15回、各イテレーションで特徴をワーピング)、(ii) $\lambda$ を MLP で予測すること(ピクセルにわたる $|E(\mathcal{X})|$ のグローバル平均プーリングで128次元ベクトルを得て、ReLU 付きの4層の全結合層に入力する)によって取り除かれる。各ステップはこうして微分可能な関数 $\Delta\mathcal{X} = g(\mathcal{X}; \mathbb{F})$ となり、解の更新 $\mathcal{X}_k = g(\mathcal{X}_{k-1};\mathbb{F}) \circ \mathcal{X}_{k-1}$(深度重みは加算、姿勢は SE(3) 指数写像)は姿勢・深度から特徴ピラミッドへ逆伝播する。姿勢は単位回転とゼロ並進で初期化される。

• 学習。 教師あり: クォータニオン回転損失 $\|\mathbf{q}-\mathbf{q}^{*}\|$、並進損失 $\|\mathbf{t}-\mathbf{t}^{*}\|$、berHu 深度損失。ADAM を用い、初期学習率0.001、バックボーンは DRN-54 から初期化。

実験結果

• ScanNet(学習1,413シーケンス/テスト100シーケンス; 学習547,991ペア、テスト2,000ペア): BA-Net は回転誤差1.018° / 並進誤差3.39 cmを達成し、DeMoN の3.791° / 15.5 cm、フォトメトリック BA の4.409° / 21.40 cm、幾何的 BA の8.56° / 36.995 cm を上回る; 深度の abs-rel は0.161、RMSE(線形)は0.346で、DeMoN の0.231 / 0.761を上回る。ScanNet で学習した場合も、DeMoN 自身の学習データで学習した場合も DeMoN を上回る。
• KITTI(Eigen split; オドメトリシーケンス09/10の5フレームスニペット): 深度 abs-rel 0.083、sqr-rel 0.025、RMSE 3.640、RMSE-log 0.134——教師あり(Eigen abs-rel 0.203)および教師なし(Zhou 0.208、Wang 0.151、Godard 0.148)の手法を上回る; ATE は0.019で、0.045(Wang 2018)や0.063(Zhou 2017)を上回る。
• 付録のアブレーションでは、学習済み特徴 vs 事前学習済み特徴、BA vs 直接 SE(3) 姿勢回帰、微分可能 LM vs Gauss–Newton、予測された $\lambda$ vs 定数 $\lambda$ を比較——各要素が寄与している; 付録には5視点までのマルチビュー SfM や CodeSLAM との比較も報告されている。

SLAMにおける意義

BA-Net は「微分可能バンドル調整」の創始論文である: SfM/SLAM の中核をなす古典的な幾何最適化がネットワークの内部に存在し学習を通して伝播できることを示し、マルチビュー幾何を構造として固定コーディングしつつ、幾何が提供できないもの(特徴と深度基底)のみを学習させた。このレシピは DROID-SLAM や DPVO(微分可能な密な BA 層)、Theseus のような汎用微分可能最適化ライブラリの基盤となり、低次元の最適化可能な深度というアイデアは CodeSLAM 方式の潜在深度コードと密接に関連している。現代の学習ベース SLAM バックエンドを理解したいなら、ここから始めるべきである。

関連ノート

• DROID-SLAM
• Theseus
• DeMoN
• CodeSLAM
• DeepV2D
• Differentiability