Stereo DSO

Wang 2017 · 論文

一行要約 — Stereo DSOは、DSOの直接法スパース光度バンドル調整をステレオカメラに拡張し、静的ステレオ(左右)制約と時間的なマルチビュー制約を1つのウィンドウ最適化の中で結合することで、KITTIスケールで高精度・メトリックスケールの直接法オドメトリを実現した。

問題

DSOのような単眼の直接法は、深度が時間的な視差からしか生じないため、スケールドリフトを蓄積し、遅い、運動依存のブートストラップ段階を必要とする。固定ベースラインのステレオリグはこの両方を解決するが — 静的ステレオだけでは限られた深度範囲内でしか正確に三角測量できず、エピポーラ線に平行なステレオエッジは縮退(degenerate)する。Stereo DSOが問うのは、時間的マルチビューステレオの直接法スパースバンドル調整に静的ステレオをどのように統合し、両者を相補的にできるかである。すなわち、ステレオが絶対スケールと深度初期化を提供し、時間的観測が遠方の点と縮退方向を制約する。

手法とアーキテクチャ

パイプライン。 新しいステレオフレームは、粗密画像ピラミッド上のGauss-Newton(等速運動による初期化)による粗から密への直接法画像アラインメントによって、最新のキーフレームに対して追跡される。この位置は、最近選ばれた候補点の深度を洗練する。シーンや照明が十分に変化した場合(平均二乗オプティカルフロー、相対輝度係数)、キーフレームが作成されアクティブウィンドウに追加される。ここでは、すべてのキーフレームの位置、アフィン輝度パラメータ、点の逆深度、カメラ内部パラメータが同時に最適化される。古いキーフレームと点はSchur補完によりマージナライズされる。システム初期化では、ランダムな深度の代わりに、静的ステレオマッチング(水平エピポーラ線に沿った3×5パッチによるNCC)による準密な深度マップを使用する。

光度エネルギー。 フレームIiI_iの点Pi\mathcal{P}_iがIjI_jで観測されるとき、画像ごとのアフィン輝度パラメータa,ba,bを用いて:

Eij=∑p∈Pi∑p~∈Npωp~∥Ij[p~′]−bj−eajeai(Ii[p~]−bi)∥γE_{ij}=\sum_{\mathbf{p}\in\mathcal{P}_{i}}\sum_{\tilde{\mathbf{p}}\in\mathcal{N}_{\mathbf{p}}}\omega_{\tilde{\mathbf{p}}}\left\|I_{j}[\tilde{\mathbf{p}}^{\prime}]-b_{j}-\frac{e^{a_{j}}}{e^{a_{i}}}\left(I_{i}[\tilde{\mathbf{p}}]-b_{i}\right)\right\|_{\gamma}

ここで∥⋅∥γ\|\cdot\|_\gammaはHuberノルム、Np\mathcal{N}_{\mathbf{p}}は8点残差パターン、ωp=c2/(c2+∥∇Ii(p)∥22)\omega_{\mathbf{p}}=c^{2}/(c^{2}+\|\nabla I_{i}(\mathbf{p})\|_{2}^{2})は高勾配ピクセルを重み減衰させ、p′=ΠK(Tji ΠK−1(p,dp))\mathbf{p}'=\Pi_{\mathbf{K}}\left(\mathbf{T}_{ji}\,\Pi_{\mathbf{K}}^{-1}(\mathbf{p},d_{\mathbf{p}})\right)は逆深度dpd_{\mathbf{p}}を介して再投影する。

ステレオカップリング — 中核的な貢献。 各アクティブな点は、他のキーフレームに対する時間的残差rtr^{t}と、同時刻の右画像に対する静的ステレオ残差rsr^{s}を生成する(Tji\mathbf{T}_{ji}はベースラインによって固定されるため、その幾何パラメータは(d,c)(d,\mathbf{c})のみである)。両方は結合係数λ\lambdaで重み付けされて1つのエネルギーに入る:

E=∑i∈F∑p∈Pi(∑j∈obst(p)Eijp+λEisp)E=\sum_{i\in\mathcal{F}}\sum_{\mathbf{p}\in\mathcal{P}_{i}}\Big(\sum_{j\in obs^{t}(\mathbf{p})}E^{\mathbf{p}}_{ij}+\lambda E^{\mathbf{p}}_{is}\Big)

Gauss-Newton法、δξ=−(JTWJ)−1JTWr\delta\boldsymbol{\xi}=-(\mathbf{J}^{T}\mathbf{W}\mathbf{J})^{-1}\mathbf{J}^{T}\mathbf{W}\mathbf{r}、によってすべてのキーフレーム位置T\mathbf{T}、逆深度dd、内部パラメータc\mathbf{c}、左右のアフィンパラメータaL,bL,aR,bRa^{L},b^{L},a^{R},b^{R}にわたって最小化される。SE(3)\mathrm{SE}(3)の増分はx⊞T:=exp⁡(x^)T\mathbf{x}\boxplus\mathbf{T}:=\exp(\hat{\mathbf{x}})\mathbf{T}として適用される。

点管理とマージナライズ。 候補画素は勾配適応ブロック(画像サイズに比例したブロックサイズで、幅の広いKITTI画像に有利)から選ばれる。その深度は静的ステレオNCCマッチングによって初期化される — 単眼の0から無限大への初期化に比べて追跡精度を大幅に向上させる — そして活性化前に後続の非キーフレームによって洗練される。マージナライズはウィンドウを有界に保つ。保持される変数をα\alpha、マージナライズされる変数をβ\betaとすると、

(Hαα−HαβHββ−1HαβT)xα=bα−HαβHββ−1bβ\left(\mathbf{H}_{\alpha\alpha}-\mathbf{H}_{\alpha\beta}\mathbf{H}^{-1}_{\beta\beta}\mathbf{H}^{T}_{\alpha\beta}\right)\mathbf{x}_{\alpha}=\mathbf{b}_{\alpha}-\mathbf{H}_{\alpha\beta}\mathbf{H}^{-1}_{\beta\beta}\mathbf{b}_{\beta}

が、後続の最適化のための事前分布として保持される。

実験結果

SLAMにおける意義

Stereo DSOは、直接法が小規模な屋内シーンに限られないことを示した。ステレオリグを使えば、最先端の大規模な屋外オドメトリを達成できる — ループクロージングを行うSLAMシステムを純粋なVOとして上回ったのである。1つの光度バンドル調整の中で静的+時間的ステレオを組み合わせるレシピと、ステレオで初期化された点の深度は標準的な設計パターンとなった。DVSOの「バーチャルステレオ」(CNNで予測された右画像)と、慣性拡張であるVI-DSOはともに、これを直接土台としている。DSOの後に本手法を学ぶことで、直接法パイプラインが第2のカメラをどのように取り込むかがわかる。

関連ノート