SVO

Forster 2014 · 論文

一行要約 — キーフレームでのみFASTコーナーを検出し、小さなパッチの直接測光アライメントによって運動を追跡する半直接視覚オドメトリ手法であり、毎秒数百フレームに達する。

問題

特徴ベースのパイプライン(PTAMとそのMAV向け変種)は、フレームごとの予算の大部分を特徴抽出とロバストなマッチングに費やす一方、密な直接法(DTAM)はGPUを必要とする。マイクロ航空機(MAV)は小型の搭載計算機上で非常に高いレートかつ低レイテンシの精密な姿勢推定を必要とし、いずれの手法もその予算に適合しなかった。SVO(“SVO: Fast Semi-Direct Monocular Visual Odometry”, ICRA 2014)は、ピクセル輝度に対して直接動作することで「運動推定のためのコストの高い特徴抽出とロバストなマッチング技術」を排除し、これを外れ値を明示的にモデル化する確率的なマッピング手法と組み合わせる。

手法とアーキテクチャ

PTAMと同様に2つの並行スレッドを持つ。運動推定とマッピングである。特徴抽出はキーフレームが選択されたときにのみ行われる。フレームごとの運動推定はディスクリプタを用いず、3つのステップで進行する。

1. スパースなモデルベース画像アライメント — 既知のデプスdud_{\mathbf{u}}を持つ特徴周辺の4×4ピクセルパッチの直接アライメントによってフレーム間の姿勢を求める:

Tk,k−1=arg⁡min⁡T12∑i∈Rˉ∥δI(T,ui)∥2,δI(T,u)=Ik(π(T⋅π−1(u,du)))−Ik−1(u)\mathbf{T}_{k,k-1}=\arg\min_{\mathbf{T}}\frac{1}{2}\sum_{i\in\bar{\mathcal{R}}}\lVert\delta I(\mathbf{T},\mathbf{u}_i)\rVert^2,\qquad \delta I(\mathbf{T},\mathbf{u})=I_k\big(\pi(\mathbf{T}\cdot\pi^{-1}(\mathbf{u},d_{\mathbf{u}}))\big)-I_{k-1}(\mathbf{u})

逆合成的な定式化(定数の、事前計算されたヤコビアン)を用いたGauss-Newton法によって解かれ、5レベルのピラミッド上でcoarse-to-fineに処理される。このステップはエピポーラ制約を暗黙的に満たし、外れ値のない対応を生成する。

2. 特徴アライメント(リラクゼーション) — 各パッチの2D位置は、観測角度が最も近いキーフレームに対して個別に精緻化される。8×8パッチとアフィンワープAi\mathbf{A}_i、逆合成的Lucas-Kanade法を用いる:

ui′=arg⁡min⁡ui′12∥Ik(ui′)−Ai⋅Ir(ui)∥2\mathbf{u}_i'=\arg\min_{\mathbf{u}_i'}\frac{1}{2}\lVert I_k(\mathbf{u}_i')-\mathbf{A}_i\cdot I_r(\mathbf{u}_i)\rVert^2

これは意図的にエピポーラ制約に違反し、サブピクセル精度の対応を得て、測定をマップに再アンカーすることで、フレーム間ドリフトの連鎖を断ち切る。

3. 姿勢と構造の精緻化 — ステップ2で生じた再投影残差(平均で約0.3ピクセル)は、運動のみのBA、Tk,w=arg⁡min⁡T12∑i∥ui−π(Tk,w wpi)∥2\mathbf{T}_{k,w}=\arg\min_{\mathbf{T}}\frac{1}{2}\sum_i\lVert\mathbf{u}_i-\pi(\mathbf{T}_{k,w}\,{}_w\mathbf{p}_i)\rVert^2によって最小化され、その後構造のみのBAが行われる。高速設定ではオプションのローカルBAは省略される。

マッピング — 新しい特徴(30×30セルごとに最も高いShi-Tomasiスコアを持つFASTコーナー)ごとの再帰的ベイズデプスフィルタであり、平均シーンデプスで高い不確実性のもとに初期化される。新しいフレームはそれぞれ、最良のエピポーラ線マッチングから三角測量されたデプスd~ik\tilde{d}_i^kを提供し、ガウス分布と一様分布の混合(インライア/アウトライア)としてモデル化される:

p(d~ik∣di,ρi)=ρi N(d~ik∣di,τi2)+(1−ρi) U(d~ik∣dimin,dimax)p(\tilde{d}_i^k\mid d_i,\rho_i)=\rho_i\,\mathcal{N}\big(\tilde{d}_i^k\mid d_i,\tau_i^2\big)+(1-\rho_i)\,U\big(\tilde{d}_i^k\mid d_i^{min},d_i^{max}\big)

インライア確率ρi\rho_iと幾何的分散τi2\tau_i^2(1ピクセル視差の仮定)を持ち、逆デプスでパラメータ化される。3D点は、フィルタが収束した後にのみマップに加えられ、これにより構造上外れ値を排除する。キーフレームは、すべてのキーフレームへの距離が平均シーンデプスの12%を超えたときに選択される。

実験結果

モーションキャプチャによるグラウンドトゥルースを持つ84 mのMAV軌跡において、SVOの相対姿勢誤差は0.0059 m/s(高速設定)と0.0051 m/s(高精度設定)であり、Weiss等によるMAV向けに調整されたPTAMの0.0164 m/sと比較して軌跡がより滑らかで3D外れ値もはるかに少ない。実行時間は、ラップトップ(Intel i7、300 fps以上、ローカルBAありで6ミリ秒)で3.04ミリ秒/フレーム、搭載機のOdroid-U2 ARM計算機(55 fps)で18.17ミリ秒であり、これに対してPTAMは91と27 fpsである——CPUコアを最大2つしか使わず、高速設定では追跡特徴も120個にとどまる。デプスフィルタにより、SVOはPTAMが多くの外れ値点を生じるような繰り返しの高周波テクスチャ(アスファルト、草地)でも信頼できるトラッキングを行える。オープンソースとして公開されている。

SLAMにおける意義

SVOは、フレームごとの特徴抽出とディスクリプタマッチングを取り除くことで、極めて低遅延かつサブピクセル精度のオドメトリが実現できることを示し、それによって長年にわたりマイクロ航空機や組み込みプラットフォーム向けの推定器の第一選択となった。特徴ベース(PTAM、ORB-SLAM)と直接法(LSD-SLAM、DSO)の間に位置する「半直接」というカテゴリを定義し、そのガウス+一様分布のデプスフィルタ(Vogiatzis & Hernándezに由来し、REMODEでも使われている)は多くの後続システムで再利用された。SVO2はこのレシピをマルチカメラリグ、魚眼/カタディオプトリックレンズ、エッジレット、運動事前情報へと拡張した。

関連ノート