DSO

Engel 2016 · 論文

一行要約 — Direct Sparse Odometryは、疎かつ画像全体に均等に分布させた高勾配画素の集合に対して、ウィンドウ化されたフォトメトリックバンドル調整を実行し、完全に直接的な確率モデルと全モデルパラメータの整合的な同時最適化を組み合わせる。

問題

DSO以前、直接法の世界と疎な世界はそれぞれ賞の半分しか手にしていなかった。LSD-SLAMはフォトメトリックにトラッキングを行うが、幾何の精緻化はフィルタリングと姿勢グラフによるものであり、構造と運動を同時最適化することは一度もなかった。特徴ベースの手法(ORB-SLAM)は完全なバンドル調整を行うが、画像を特徴点に縮減してしまう。DSOは「フォトメトリック誤差を最小化する完全に直接的な確率モデル」と、姿勢、逆深度、内部パラメータ、フレームごとの明るさを含む「全モデルパラメータの整合的な同時最適化」をリアルタイムで組み合わせる。これは「他の直接法で使われている平滑化事前分布を省略し、代わりに画像全体に均等に画素をサンプリングすること」によって可能になった。

手法とアーキテクチャ

• フォトメトリックキャリブレーション: 画像形成は$I_i(\mathbf{x}) = G\big(t_i\, V(\mathbf{x})\, B_i(\mathbf{x})\big)$としてモデル化される。ここで$G$は応答関数、$V$はビネット、$t_i$は露光時間、$B_i$は放射輝度である。フレームは事前に$I_i'(\mathbf{x}) := t_i B_i(\mathbf{x}) = G^{-1}(I_i(\mathbf{x}))/V(\mathbf{x})$によって補正される。
• フォトメトリック誤差: フレーム$I_i$を保有元とし$I_j$で観測される点$\mathbf{p}$は、8画素の残差パターン$\mathcal{N}_{\mathbf{p}}$にわたる重み付きSSDに寄与する。

$$E_{\mathbf{p}j} := \sum_{\mathbf{p}\in\mathcal{N}_{\mathbf{p}}} w_{\mathbf{p}} \left\| (I_j[\mathbf{p}'] - b_j) - \frac{t_j e^{a_j}}{t_i e^{a_i}} (I_i[\mathbf{p}] - b_i) \right\|_{\gamma},$$

ここで$\mathbf{p}' = \Pi_{\mathbf{c}}\big(\mathbf{R}\, \Pi_{\mathbf{c}}^{-1}(\mathbf{p}, d_{\mathbf{p}}) + \mathbf{t}\big)$は逆深度$d_{\mathbf{p}}$と相対姿勢$\mathbf{T}_j \mathbf{T}_i^{-1}$による再投影である。$a, b$はアフィン明るさパラメータ(対数パラメータ化がドリフトを防止する)、$\|\cdot\|_\gamma$はHuberノルム、$w_{\mathbf{p}} = c^2 / (c^2 + \|\nabla I_i(\mathbf{p})\|_2^2)$は(暗黒的な幾何ノイズを表す)高勾配画素を重み低減する。全体のエネルギーは

$$E_{\text{photo}} := \sum_{i\in\mathcal{F}} \sum_{\mathbf{p}\in\mathcal{P}_i} \sum_{j\in\mathrm{obs}(\mathbf{p})} E_{\mathbf{p}j},$$

であり、スライディングウィンドウ上でGauss-Newton法によって最適化される。各点はホストフレームにおける逆深度という一つの未知数しか持たないため、Schur補元をとった後は古典的な疎BAと同様に解ける。

• マージナリゼーション: 古いフレームと点はSchur補元、$\widehat{\mathbf{H}_{\alpha\alpha}} = \mathbf{H}_{\alpha\alpha} - \mathbf{H}_{\alpha\beta}\mathbf{H}_{\beta\beta}^{-1}\mathbf{H}_{\beta\alpha}$によってウィンドウから抜けていき、残る変数に対する二次事前分布を残す。マージナライズされた変数に接続する残りの変数の線形化(接空間)点はその後固定され、ヘッセ行列を新たに埋めることになる残差は捨てられる。
• フロントエンド: アクティブキーフレーム$N_f = 7$個とアクティブ点$N_p = 2000$個のウィンドウ。新しいフレームは等速運動モデルによる2フレーム間の直接アラインメントで最新のキーフレームに対してトラッキングされる。平均オプティカルフロー、並進のみのフロー、明るさ変化の重み付きスコアが閾値を超えるとキーフレームが作成される(当初は毎秒5-10キーフレーム、その後冗長なものは早期にマージナライズされる——常に最新の2つは保持し、可視性5%未満のフレームは捨て、それ以外は空間距離スコアで判断する)。候補点は領域適応的な勾配閾値(ブロックの勾配中央値$\bar g$+$g_{\text{th}}$、$g_{\text{th}}=7$)を$d \times d$ブロックにわたって用いて選ばれる——これにより、白い壁の上の輪郭や滑らかな輝度変化もサンプリングされる——エピポーラライン上を追跡して深度の初期化を行い、その後空間的な広がりを最大化するように活性化される。

実験結果

3つのデータセットで評価し、すべてのシーケンスを順方向・逆方向の両方で実行(TUM monoVOで500回実行——フォトメトリックにキャリブレーションされた50シーケンス、105分;EuRoC MAVで220回実行——11シーケンス、19分;ICL-NUIMで80回実行——8シーケンス、4.5分)。累積誤差プロットとして報告され、精度とロバスト性の両方を捉えている:

• TUM monoVOおよびICL-NUIM: 「直接的かつ疎なアプローチは精度とロバスト性の両方でORB-SLAMを明確に上回る」(monoVOではアラインメント/回転/スケールドリフト誤差、ICL-NUIMではATE)。LSD-SLAMとSVOは、実際の露光変化のもとでの明るさ一定性の仮定のために「大半のシーケンスで一貫して失敗する」。
• EuRoC MAV: ORB-SLAMがより高精度である(フォトメトリックキャリブレーションが利用できず、またこのデータセットにある多くの小さなループをそのローカルマッピングが暗黙的に閉じているため。これは純粋なオドメトリではできない);ORB-SLAMを過去10秒以内に見えたマップ点に限定すると、精度はDSOと同程度になるが、ロバスト性は低下する。
• 効率: i7-4910MQ上でリアルタイム動作;設定を縮小した場合($N_p = 800$、$N_f = 6$、424×320)、DSOはリアルタイムの5倍の速度で動作しながらも、非常に良好な精度とロバスト性を維持する。
• アブレーション: 完全なフォトメトリックキャリブレーションが最良の結果を与え、素朴な明るさ一定性の仮定は明らかに最も悪い結果となる。$N_p = 500$点あるいは$N_f = 7$フレームを超えて増やしても精度への影響はわずかである(2000点は主により密なマップのために保持されている)。

SLAMにおける意義

DSOは決定的な直接・疎法であり、DTAMとLSD-SLAMによって開かれた時代を締めくくり、ORB-SLAMと並んで2つの代表的な古典的ベースライン(直接法対特徴ベース法)の一つとして立っている。その定式化はLDSO、Stereo DSO、VI-DSO、DVSO、D3VO、DM-VIOという一族全体を生み出し、そのフォトメトリックキャリブレーションの知見、固定接空間マージナリゼーション、スライディングウィンドウ設計は今日でもオドメトリシステムの標準的な実践として残っている。

関連ノート

• LSD-SLAM
• LDSO
• DVSO
• D3VO
• Stereo DSO
• Marginalization