LDSO

Gao 2018 · 論文

一行要約 — DSOを完全なSLAMシステムへ拡張し、点選択を再現性の高いコーナーに偏らせ、BoWループ検出と $\mathrm{Sim}(3)$ ポーズグラフ最適化を追加することで、DSOの光度トラッキングコアを保ったまま、DSOの無制限なドリフトを解消した。

問題

DSOはスライディングウィンドウの光度バンドル調整によって優れた局所精度を達成するが、それは純粋なオドメトリである: 場所認識、ループクロージャ、グローバル最適化がなく、長い軌跡ではドリフトが無限に増大する。直接法にループクロージャを追加することは容易ではない。というのも、直接法は画素を勾配で選ぶのであり再現性で選ぶわけではないためである — 「直接法はそうした点の再現性を要求しない」ため、bag-of-wordsデータベースに供給すべき記述子が存在しない。LDSOはDSOの光度フロントエンドを放棄することなくこの隔たりを埋める。

手法とアーキテクチャ

• 再現性のある特徴を用いた点選択: LDSOはDSOと同様にキーフレームあたり2000点を選ぶが、そのうち一部はShi–Tomasiスコアで検出されたコーナーであり、残りはDSOの勾配ベースの動的グリッド探索を用いる。ORB記述子が付与されるのは(少数の)コーナーのみで、それがbag-of-wordsに詰め込まれる。コーナーと非コーナーの両方が光度トラッキングに使われるため、ループクロージングスレッドの追加コストは最小限に抑えられる。
• ループ候補の提案と検証: キーフレーム集合上のDBoW3データベースが候補を提案し、現在のウィンドウ外にある(すでに周辺化された)キーフレームに限定される。ORBマッチングとRANSAC PnPによって初期の $\mathrm{SE}(3)$ 推定が得られ、ループ候補から現在のキーフレームへの $\mathrm{Sim}(3)$ 変換 $\mathbf{S}_{cr}$ は、3D幾何制約と2D再投影制約を組み合わせたガウス・ニュートン法によって精緻化される:

$$E_{loop} = \sum_{\mathbf{q}_i \in \mathcal{Q}_1} w_1 \left\| \mathbf{S}_{cr}\, \Pi^{-1}(\mathbf{p}_i, d_{\mathbf{p}_i}) - \Pi^{-1}(\mathbf{q}_i, d_{\mathbf{q}_i}) \right\|_2 + \sum_{\mathbf{q}_j \in \mathcal{Q}_2} w_2 \left\| \Pi\big(\mathbf{S}_{cr}\, \Pi^{-1}(\mathbf{p}_j, d_{\mathbf{p}_j})\big) - \mathbf{q}_j \right\|_2,$$

ここで $\Pi, \Pi^{-1}$ は投影/逆投影、$d$ は逆深度(現在キーフレームの深度は、アクティブウィンドウのマップ点をそこに投影して得る)であり、$w_1, w_2$ は測定単位のバランスをとる。スケールは3D項からのみ観測可能であるが、2D再投影項がなければ、深度ノイズのもとで回転と平行移動が不正確になってしまう。

• スライディングウィンドウとポーズグラフの融合: DSOのウィンドウ最適化は $\mathbf{H}\,\delta\mathbf{x} = -\mathbf{b}$ を解く($\mathbf{H} \approx \mathbf{J}^{\top}\mathbf{W}\mathbf{J} + \lambda\mathbf{I}$、矢印形の疎性、対角の $\mathbf{H}_{dd}$)。DSOの周辺化事前分布(ウィンドウ内の全キーフレームにわたる高次エッジ)をグラフに持ち込む代わりに、LDSOはウィンドウ制約を、フロントエンドの姿勢推定から得られる対の相対 $\mathrm{SE}(3)$ 観測で近似する。各観測は $\mathbf{e}_{ij} = \mathbf{T}_{ij}\hat{\mathbf{T}}_j^{-1}\hat{\mathbf{T}}_i$ という項を、$\mathrm{Sim}(3)$ ループ制約と並んで寄与する。ポーズグラフ(g2o)は現在のキーフレームの姿勢を固定し、ウィンドウには書き戻さないため、グローバルな補正が局所的なウィンドウBAを乱すことは決してない。
• 不変の光度フロントエンド: DSOの直接トラッキングとウィンドウ光度バンドル調整はそのまま保持され、テクスチャの乏しい領域での頑健性が維持される。

実験結果

• TUM-Mono(50シーケンス、フロントエンド変更を単独評価するためループクロージャは無効化。各シーケンスで前進10回+後退10回の実行): コーナー偏重の点選択は、平行移動・回転・スケールドリフトにおいて「元のシステムのVO精度を低下させない」。純粋にランダムな点選択はより頻繁に失敗するが、生き残った場合は驚くほど正確である。
• EuRoC MAV($\mathrm{Sim}(3)$アラインメント後のRMSE): LDSOは大半のシーケンスでDSOよりカメラトラッキング精度を大幅に改善する。両者ともV2-03では失敗する(ORB-SLAM2の前進実行も同様)。総じて「ORB-SLAM2の方が正確だが、このデータセットではLDSOの方がより頑健である」。
• KITTI odometry(メートル単位のATE、$\mathrm{Sim}(3)$アラインメント): ループのあるシーケンスでLDSOはDSOのドリフトを大幅に削減する — シーケンス00: 126.7 → 9.32(ORB-SLAM2: 8.27)、シーケンス05: 49.85 → 5.10(7.91)、シーケンス07: 27.99 → 2.96(3.44) — ORB-SLAM2がグローバルバンドル調整を実行するのに対し、LDSOはポーズグラフ最適化のみを用いているにもかかわらず、同等の性能である。
• 実行時間: 点選択はキーフレームあたり21.8 msかかる(元のDSOのピッカーは12.6 ms、i7-4770HQラップトップ)— しかもキーフレームでのみ実行され、全フレームでは行われない。

SLAMにおける意義

LDSOは、設計上再現性のある特徴記述子を持たない直接法がどのように場所認識を行えるかという問いに答えた: 光度コアを保ちつつ、一部の点を特徴のようなものにするのである。また、SLAMアーキテクチャのきれいなケーススタディでもある: フロントエンドのオドメトリ(DSO)にバックエンドの $\mathrm{Sim}(3)$ ループ制約付きポーズグラフを組み合わせるという、LSD-SLAMやORB-SLAMと同じドリフト補正パターンであり、直接法とfeatureベース法という「二つの陣営」が排他的ではなく相補的であることを示している。

関連ノート

• DSO
• LSD-SLAM
• ORB-SLAM
• Pose graph optimization
• Visual Place Recognition (VPR)
• Scale ambiguity