ESVIO

Chen 2023 · 論文

一行要約 — ESVIOは、初のイベントベースステレオ視覚慣性オドメトリシステムであり、ステレオイベントストリーム、標準ステレオ画像、IMU測定値をタイトカップリングで融合し、積極的な運動や低照度条件下でロバストな状態推定を実現する。

問題

イベントカメラの低レイテンシで非同期な出力(標準カメラの約60 dBに対し140 dBのダイナミックレンジ)は、困難な状況下での状態推定に非常に適しているが、これまでのイベントベースVOの大半は単眼であり、ステレオイベントビジョンの研究はあまり進んでいなかった。設計空間には空白があった。ESVOはIMUなしのステレオイベントオドメトリを提供していたが、Ultimate-SLAMはイベント、フレーム、IMUを融合するものの単眼のみであった。さらに、画像的な瞬時マッチングは2つの非同期イベントストリームに直接適用できない。時間的なずれ、ノイズ、異なるコントラスト感度が誤ったステレオ対応を引き起こす。

手法とアーキテクチャ

パイプラインには2つのバリアントがある。ESIO(純粋なイベント慣性)とESVIO(イベント+画像支援)である。3つのフロントエンド/バックエンドのステージが閉ループで相互作用する。

1. IMU支援の運動補償。 各イベント $e_k = \{l_k, t_k, p_k\}$ は、短い区間 $\Delta t$ にわたって等速運動を仮定し、回転にはジャイロスコープ、平行移動にはバックエンドの速度推定値を用いて、参照時刻 $t_{ref}$ にワープされる。

$${}^{ref}\mathbf{R}_k = \exp\big((\tilde{\boldsymbol{\omega}}_k - \mathbf{b}_g - \mathbf{n}_g)\Delta t\big), \qquad {}^{ref}\mathbf{L}_k = {}^{ref}\mathbf{R}_k \mathbf{L}_k + \mathbf{v}_{ref}\Delta t,$$

ここで $\mathbf{L}_k$ は同次画素位置、$\mathbf{v}_{ref}$ はバックエンドの速度である。より良い状態推定は補償されたイベントエッジをより鮮明にし、それが次の推定を改善する。

2. 空間的・時間的データアソシエーション。 補償されたイベントは、極性別に分離されたアクティブイベントの表面(SAE)を構成し、タイムサーフェス(TS)に変換される。イベントコーナーは修正版Arc検出器で抽出される(100〜200特徴を維持し、TS上の最小距離マスクによって分散させる)。特徴は、連続する左イベントストリーム間で時間的に追跡され、ステレオ整流された左右のタイムサーフェス間で瞬時に*マッチングされる。いずれも前向き-逆向きLKオプティカルフローを用いる。深度はRANSACによる外れ値除去を伴う三角測量によって復元される。

3. グラフベースのバックエンド。 スライディングウィンドウが、状態全体 $\boldsymbol{\chi} = [\mathbf{x}_{b_0}, \dots, \mathbf{x}_{b_n}, \mathbf{x}^b_e, \mathbf{x}^b_c, \boldsymbol{\Lambda}_{es}, \boldsymbol{\Lambda}_{et}, \boldsymbol{\Lambda}_c]$ — IMU状態(位置、クォータニオン、速度、バイアス)、カメラ-IMU外部パラメータ、イベント/画像特徴の逆深度 — を、以下を最小化することで最適化する。

$$\min_{\boldsymbol{\chi}} \Big( \sum_{k} \|\mathbf{r}_b\|^2_{\Omega_b} + \sum_{(l,k)} \|\mathbf{r}_{es}\|^2_{\Omega_{es}} + \sum_{(l,k)} \|\mathbf{r}_{et}\|^2_{\Omega_{et}} + \sum_{(l,k)} \|\mathbf{r}_c\|^2_{\Omega_c} \Big),$$

これは、IMUプリインテグレーション残差 $\mathbf{r}_b$、空間的イベント残差 $\mathbf{r}_{es}$(逆深度 $\lambda_{es}$ と外部パラメータ $\mathbf{T}^{le}_{re}$ を介して右イベントカメラから左イベントカメラへ特徴を再投影する)、時間的イベント残差 $\mathbf{r}_{et}$(ボディ姿勢 $\mathbf{T}^w_{b_i}, \mathbf{T}^{b_k}_w$ を介して$i$番目と$k$番目の左イベントストリーム間で再投影する)、標準カメラ残差 $\mathbf{r}_c$ を組み合わせたものである。

実験結果

• 自己収集のHKUデータセット(2台のDAVIS346、6 cmベースライン、ステレオイベント60 Hz、フレーム30 Hz、IMU 1000 Hz、VICON真値; 積極的な運動とHDR): ESVIOは平均MPE 0.14% / MRE 0.033°/mを達成し、ORB-SLAM3ステレオVIOの0.16% / 0.12°/m、VINS-Fusionの0.76% / 0.38°/m、単眼EIOのUSLAMの5.06% / 1.05°/m、PL-EVIOの0.26% / 0.41°/mを上回る。ESIOは0.89%、運動補償を行ったESIO+は0.66%に達する。ORB-SLAM3とVINS-Fusionはhku_agg_walk(モーションブラー)で失敗し、ORB-SLAM3はhku_dark_normalで失敗する。EVOとESVOは全シーケンスで失敗した。
• 公開データセット: VECtorでの初の報告結果(例: robot-fastで0.20%であり、VINS-Fusion、EVO、ESVOは失敗する)、およびMVSECの屋内飛行シーケンスでの良好な結果(例: flying 1/3でMPE 0.94% / 0.47%、PL-EVIOの1.35% / 0.64%に対して)。テクスチャの少ないunits-dolly/scooterは、すべての視覚のみの手法にとって依然として難しい。
• リアルタイム性: i7-1260P NUC上で、346×260でフロントエンド10.44 ms、バックエンド19.30 ms(640×480では35.69 / 35.59 ms)。
• 搭載型クアッドロータ飛行: ESVIOを唯一の姿勢フィードバックとする閉ループ飛行を実施し、56.0 mのHDR飛行でATE RMSE 0.17 m、平均相対平行移動誤差は約0.1 m。大規模な屋外・走行シーケンスは長期運用を実証している。

SLAMにおける意義

ESVIOは、イベントSLAMのセンサ融合の系譜を完成させる。ステレオ+イベント+フレーム+IMUという組み合わせ全体が、まさにこのセンサが設計された暗所・高速条件下で実際の空中プラットフォームで実用的であることを示している。ESVOとUltimate-SLAMに続く自然な研究対象であり、そのオープンソース公開(HKU ArcLab)によって、以降のイベントVIO研究における一般的なベースラインとなっている。

関連ノート

• ESVO
• Ultimate-SLAM
• EKLT
• IMU preintegration
• VINS-Fusion