EDS

Hidalgo-Carrió 2022 · 論文

一行要約 — EDS(Event-aided Direct Sparse Odometry)は、イベントとフレームを1つの光度フレームワークの中で融合する初の直接法単眼VOである。イベント生成モデルを介してキーフレームに対して追跡されるイベントが、高速運動がフレームのみの直接VOを破綻させるフレーム間の「盲目時間」でも追跡を維持する。

問題

DSOは、高勾度点のスパース集合上の光度バンドル調整によって、最も精度の高いフレームベースVOシステムの1つである。しかしその追跡は、連続するフレームが光度アライメントに十分重なることを前提としている。この前提は高速なカメラ運動、モーションブラー、低いフレームレートの下で破綻する。イベントはまさにこれらのギャップで欠けている信号を運ぶが、単純には組み込めない。直接法は絶対的な画像強度に対して動作するが、イベントは明るさの変化を符号化するからである。EDSはイベント生成モデルを介して両者の間の理論的な変換を提供する。

手法とアーキテクチャ

イベント生成モデル(EGM)。 イベント $e_k = (\mathbf{u}_k, t_k, p_k)$ は、対数輝度がコントラスト感度 $C$ だけ変化したときに発火する。$\Delta L(\mathbf{u}_k, t_k) = p_k C$。$N_e$ 個のイベントのウィンドウにわたって極性を積算すると、輝度増分画像 $\Delta L(\mathbf{u}) = \sum_{t_k \in \mathcal{T}} p_k C\, \delta(\mathbf{u} - \mathbf{u}_k)$ が得られる(EDSは積算ブラーを減らすためガウス重み付けされた極性 $w_k p_k$ を積算する)。これは微小な $\Delta t$ に対して以下のように線形化される。

$$\Delta L(\mathbf{u}) \approx -\nabla L(\mathbf{u}) \cdot \mathbf{v}(\mathbf{u})\, \Delta t.$$

フロントエンド(追跡)。 キーフレームは輝度フレーム $\hat{L}$ と準密な逆深度マップを保持する。画像点の速度は純粋に幾何学的であり、$\mathbf{v}(\mathbf{u}) = \mathrm{J}(\mathbf{u}, d_{\mathbf{u}})\, \dot{\mathrm{T}}$ で表される。ここで $\mathrm{J}$ は深度 $d_{\mathbf{u}}$ を持つ画素 $\mathbf{u}$ の $2\times 6$ の特徴感度行列、$\dot{\mathrm{T}} = (\mathbf{V}^\top, \boldsymbol{\omega}^\top)^\top$ はカメラの線速度/角速度である。これはフレームから輝度変化 $\Delta \hat{L}(\mathbf{u}) \approx -\nabla \hat{L}(\mathbf{u}) \cdot \mathrm{J}(\mathbf{u}, d_{\mathbf{u}})\, \dot{\mathrm{T}}\, \Delta t$ を予測する。カメラ追跡は、正規化された増分をHuberノルム $\gamma$ の下でマッチングすることにより、イベントパケットにわたって6-DOFの姿勢増分と速度を共同で最適化する。

$$(\delta \mathrm{T}^{\ast}, \dot{\mathrm{T}}^{\ast}) = \arg\min_{\delta \mathrm{T}, \dot{\mathrm{T}}} \left\| \frac{\Delta \hat{L}}{\|\Delta \hat{L}\|_2} - \frac{\Delta L}{\|\Delta L\|_2} \right\|_{\gamma},$$

これは選択された高勾度の輪郭画素でのみ評価される(タイリング方式、例えば11×11タイルにより、10〜15%の画素が良く分布した状態に保たれる)。イベント増分は投影 $\mathbf{u}_e = \pi\big(T_{e,f}\, \pi^{-1}(\mathbf{u}_f, d_{\mathbf{u}_f})\big)$ によってキーフレームに転送される。正規化により未知のコントラスト $C$ が打ち消される。点の20〜30%が視野を離れる、あるいは相対回転がしきい値を超えたときに新しいキーフレームが生成される。深度はk-d木による最近傍充填によって新しいキーフレームに伝播される。

バックエンド。 7つのキーフレームからなるスライディングウィンドウ上での光度バンドル調整(2000〜8000点、8画素の残差パッチ、Huberノルム、Ceres)が姿勢と逆深度を精緻化し、それがフロントエンドにフィードバックされる。この設計は、DSOのPBAに差し替え可能なほどモジュール化されている。初期化には古典的な多視点幾何、学習型単眼深度、またはフレーム上のDSOの粗い初期化器が用いられる。

実験結果

• ステレオDAVIS 240Cデータセット(bin、boxes、desk、monitor、モーションキャプチャによる真値): EDSはATEが1.1 / 2.1 / 1.5 / 1.0 cmであり、ステレオイベント手法ESVO(2.8 / 5.8 / 3.2 / 3.3 cm)、イベント+フレーム+IMUのUSLAM(7.7 / 9.5 / 9.8 / 6.5 cm)、EVO(13.2 / 14.2 / 5.2 / 7.8 cm、2つのシーケンスで早期に失敗)よりも良好であり、単眼かつIMUフリーであるにもかかわらずこれを実現している。回転誤差は0.99 / 1.83 / 1.87 / 0.60度。
• フレームベースのベースラインと比較すると、EDSは平行移動において単眼ORB-SLAMより一貫して優れ、DSOと同程度である(高速なdeskシーケンスではより高精度、1.5 cm対10.0 cm)。ステレオORB-SLAMよりはわずかに劣る程度である。
• 低フレームレートの検討: フレームレートが下がるにつれ、EDSの誤差はほぼ一定に留まるのに対し、DSOの誤差は急激に増大する(DSOのリカバリー追跡は10 FPS未満で失敗する)。EDSはループクロージングなしのORB-SLAMにも勝る。イベントが離れたフレーム間でも追跡を維持するためである。
• 感度: 追跡は深度ノイズに対しては緩やかに劣化するが、コントラストしきい値のノイズが $\sigma_C > 0.15$ を超えると急激に破綻する。
• 本研究はまた、ハイブリッドシステムを評価するための新しいビームスプリッタ式イベント+フレームデータセット(EDSデータセット)を導入した。

SLAMにおける意義

EDSは「拡張としてのイベント」という哲学の直接法版に相当する。EKLTが特徴追跡を拡張し、Ultimate-SLAMが特徴ベースVIOバックエンドを拡張するのと同じ相補性が、光度ベースの直接オドメトリでも成り立つことをEDSは示した。成熟したフレームベースシステムが、全面的な再設計ではなく的を絞った変更でイベントを取り入れられることを実証し、既存の直接法SLAMパイプラインにイベントの頑健性を後付けするための青写真となった。

関連ノート

• DSO
• EVO
• Ultimate-SLAM
• EKLT
• Event representations