DSAC++

Brachmann 2018 · 論文

一行要約 — 「学習は少ないほど良い」:DSACパイプラインを単一の学習可能な構成要素——シーン座標を回帰するFCN——まで削ぎ落とし、パラメータフリーのソフトインライア計数でスコア付けする。そしてRGB画像と正解姿勢のみから学習でき、3Dモデルなしにシーン形状を発見できることを示す。

問題

DSACには3つの欠点があった。そのスコアCNNは過学習する——画像内のどこで再投影誤差が生じるかを記憶してしまい、そのパターンは未見の視点には一般化しない。その初期化にはRGB-Dデータや3Dシーンモデルからのシーン座標の正解値が必要だが、これは存在しない場合がある(特に屋外では、再構成には面倒なパラメータ探索が要求される)。さらにそのエンドツーエンド学習は不安定で、姿勢洗練の勾配が有限差分によって計算されており、勾配の分散が大きかった。DSAC++は、ローカライゼーションパイプラインの単一の構成要素を学習するだけで十分かどうか——さらにそれがカメラ姿勢のみから学習可能かどうか——を問う。

手法とアーキテクチャ

DSACスタイルのパイプライン——シーン座標回帰、4点組からのPnPによる仮説サンプリング、確率的選択、洗練——は保持されるが、学習可能な構成要素は1つだけになる:

• 全層畳み込み座標ネットワーク(VGGスタイル、約3000万パラメータ):640x480の画像を80x60のシーン座標$\mathbf{y}_i(\mathbf{w})$に写す。受容野は41x41ピクセルで、DSACの独立したパッチとは異なり、計算を再利用する密な予測となる。
• ソフトインライア計数がScore CNNに代わる:仮説の合意度は再投影誤差に対するシグモイドで平滑化されたインライア計数として表される。$r_i(\mathbf{h},\mathbf{w})=\lVert C\mathbf{h}^{-1}\mathbf{y}_i(\mathbf{w})-\mathbf{p}_i\rVert$:

$$s(\mathbf{h})=\sum_i \mathrm{sig}\left(\tau-\beta\, r_i(\mathbf{h},\mathbf{w})\right)$$

仮説$j$はソフトマックス$P(j;\mathbf{w},\alpha) \propto \exp(\alpha\, s(\mathbf{h}_j(\mathbf{w})))$を通じて選択され、$\alpha$は$|S(\alpha)-S^{*}|$に対する勾配降下法で自動調整される。ここで$S(\alpha)$は$P$のシャノンエントロピーであり——分布を広く保つことで、エンドツーエンド学習が崩壊せず安定に留まる。

• 3段階の学習:(1)初期化——座標を目標$\mathbf{y}^{*}$に対して学習する。可能であれば3Dモデルからレンダリングされ、そうでなければカメラ視点の分離だけを行う一定深度のヒューリスティック$\mathbf{y}_i^{*} \approx \mathbf{h}^{*}(\frac{d x_i}{f}, \frac{d y_i}{f}, d, 1)^T$を使用する;(2)再投影誤差の最適化——正解姿勢に対して行う、$\tilde{\mathbf{w}}=\arg\min_{\mathbf{w}}\sum_i r_i(\mathbf{h}^{*},\mathbf{w})$——単一視点の制約からネットワークは真の深度を回復する、つまり3Dモデルなしにシーン形状を発見する;(3)エンドツーエンド——DSACと同様に期待姿勢損失$\mathbb{E}_{j\sim P}[\ell(\mathbf{R}(\mathbf{h}_j(\mathbf{w})),\mathbf{h}^{*})]$を最小化する。
• 解析的洗練勾配:洗練はインライア再投影誤差に対するGauss-Newton法であり、$\mathbf{R}^{t+1}=\mathbf{R}^{t}-(J_{\mathbf{r}}^{T}J_{\mathbf{r}})^{-1}J_{\mathbf{r}}^{T}\mathbf{r}(\mathbf{R}^{t},\mathbf{w})$、その勾配は最適解$\mathbf{h}_\mathrm{O}$周りの線形化によって近似される:$\frac{\partial}{\partial\mathbf{w}}\mathbf{R}(\mathbf{h})\approx-(J_{\mathbf{r}}^{T}J_{\mathbf{r}})^{-1}J_{\mathbf{r}}^{T}\frac{\partial}{\partial\mathbf{w}}\mathbf{r}(\mathbf{h}_{\mathrm{O}},\mathbf{w})$——これによりDSACの不安定な有限差分を置き換える。

実験結果

• 7Scenes(5cm/5度以内のフレーム割合、完全なセット):3Dモデルありで76.1%——RGB-Dで学習したDSACより+13.6%。レンダリングされたモデルから学習したDSACはさらに6.6%低下し、そのためDSAC++の3Dモデルなし(60.4%)でもモデル学習済みDSACを4.5%上回る。
• 12Scenes:DSACに対して16.7%の差をつけて96.4%;3Dモデルなしでは60.9%で、SIFT+PnPベースラインと同程度。
• 誤差の中央値:例えば7Scenes Chessで0.02m/0.5度;Cambridge King’s Collegeで0.18m/0.3度、Great Courtで0.40m/0.2度——多くのシーンでPoseNet系のバリアントよりおおよそ10倍良く、特徴ベースのActive Searchよりも約2倍良い;3Dモデルなしでも、ほとんどのモデルベースの競合手法を上回る(例:King’s Collegeで0.23m/0.4度)。DSACと同様、桁違いに大きいCambridge Streetシーンでは失敗する。
• アブレーション:DSACのスコアCNNをソフトインライア計数だけに置き換えると、7Scenesは55.9%から58.9%に(Headsで+19%、Stairsで+8%)、12Scenesは79.7%から89.6%に上昇する——スコア回帰は一般化性能が低く、座標回帰は一般化性能が高い。

SLAMにおける意義

DSAC++はシーン座標回帰にとって最大の実用的な障壁——3D正解データの必要性——を取り除き、姿勢を提供する任意のSLAM/SfMシステムの出力と互換性を持つ手法とした。そのレシピ(単一のFCN+古典的な幾何解法、ソフトインライアスコアリング、解析的Gauss-Newton勾配、再投影に基づく自己教師)は、DSAC*とACE系列に採用されるテンプレートとなった。またこれは、単一視点の再投影制約のみから暗黙的なニューラルシーン地図を発見できることを早期に示した——ニューラルマッピング全体で繰り返し現れる考え方である。

関連ノート

• DSAC — 元の微分可能RANSACの形式
• DSAC* — 統合され、さらに改善されたフレームワーク(TPAMI)
• ACE — SCR学習を数時間から数分に短縮する
• ACE Zero — 姿勢の教師さえも取り除き、地図をゼロから学習する
• PoseNet — SCRが上回る絶対姿勢回帰の手法