ESVO

Zhou 2021 · 論文

一行要約 — ESVOは、公表された初のイベントベースステレオ視覚オドメトリシステムである。タイムサーフェスの上に完全に構築された並列トラッキング・アンド・マッピング設計であり、ステレオの時空間的一貫性がメトリックな準密深度を生み、姿勢はそのマップに対してイベントをレジストレーションすることから得られる — これらすべてがCPU上でリアルタイムに動作する。

問題

単眼イベントVOはスケールを除いた姿勢しか復元できないが、既知のベースラインを持つステレオリグはIMUなしで絶対的なメトリック深度を提供する。しかしイベントカメラのステレオマッチングは自明ではない。時間的な一致は画素レベルで厳密には成立せず(遅延、ジッタ、異なるイベント発火率)、イベントは相関計算に使える強度情報を持たない。古典的な、同期された強度パッチのマッチングは適用できない。ESVOは、自然なシーンにおいて一般的な6-DoF運動の下で、ステレオイベントリグからVOを解くことを目指し、理論的でかつ市販ハードウェア上でリアルタイム動作に十分効率的な解を与える。

手法とアーキテクチャ

共通の通貨としてタイムサーフェス(TS)を用いる並列トラッキング・アンド・マッピングシステムである。画素 $\mathbf{x}$ ごとに、その画素での最新イベントのタイムスタンプを $t_{\text{last}}(\mathbf{x})$ とすると、

$$\mathcal{T}(\mathbf{x},t) \doteq \exp\!\left(-\frac{t - t_{\text{last}}(\mathbf{x})}{\eta}\right),$$

減衰率 $\eta = 30$ msであり、これは最近のエッジ運動をコンパクトに表す2Dマップであり、100 Hzで更新される。

• マッピング — イベントごとの逆深度: 左カメラの $\mathbf{x}$ にあるイベントについて、逆深度 $\rho^\star = \arg\min_\rho C$ は、深度仮説を両方のタイムサーフェスに投影した点 $\mathbf{x}_1, \mathbf{x}_2$ を中心とするパッチ間の符号付き画素残差 $r_i(\rho) \doteq \mathcal{T}_{\text{left}}(\mathbf{x}_{1,i},t) - \mathcal{T}_{\text{right}}(\mathbf{x}_{2,i},t)$ を用いて、時間的不整合 $C \doteq \sum_i r_i^2(\rho)$ を最小化する。これは前方投影である。深度仮説それ自体が候補となるステレオマッチであり、マッチングと三角測量が一段階で行われる。ガウス-ニュートン更新 $\Delta\rho = -(\mathbf{J}^{\top}\mathbf{r})/\|\mathbf{J}\|^{2}$ で解かれ、エピポーラブロックマッチングで初期化される。
• マッピング — 確率的融合: 残差は経験的にStudentの$t$分布に従うため、各推定値は不確実性 $\rho \sim St(\rho^\star,\, s_r^2/\|\mathbf{J}\|^2,\, \nu_r)$ を持ち、分散は $\sigma_{\rho^\star}^{2} = \frac{\nu_r}{\nu_r - 2}\frac{s_r^{2}}{\|\mathbf{J}\|^{2}}$ である。ロバストなIRLSが単純な最小二乗に代わる。20回のステレオ観測からの推定値は共通の時刻に伝播され、Studentの$t$ベイズフィルタで融合される(仮説は $\mu_b - 2\sigma_b \leq \mu_a \leq \mu_b + 2\sigma_b$ であれば互換とみなし、そうでなければ分散が小さい方を残す)。これにより20 Hzで準密な逆深度マップが得られる。
• トラッキング — 距離場としてのTSの反転: 「反転」$\bar{\mathcal{T}}(\mathbf{x},t) = 1 - \mathcal{T}(\mathbf{x},t)$ は、現在のエッジ位置に対する異方性距離場として機能する。リグの姿勢はワープ $\boldsymbol{\theta}^\star$(ケイリー回転+平行移動)であり、深度マップの支持領域 $\mathcal{S}$ にわたって $\sum_{\mathbf{x}\in\mathcal{S}} \bigl(\bar{\mathcal{T}}_{\text{left}}(W(\mathbf{x},\rho;\boldsymbol{\theta}),k)\bigr)^2$ を最小化することで求められる。これは前方合成型のLucas-Kanade法、Huberノルムを用いたIRLS、確率的LMサンプリング(1イテレーションあたり $N_p = 300$ 点、約5イテレーション)で解かれる。左のTSのみが用いられる(右を追加すると精度向上がわずかな一方でコストは2倍になる)。

実験結果

• セットアップ: DAVIS240Cリグ(14.7 cmベースライン)、DAVIS346ドローンデータ(MVSEC/upenn、10 cm)、シミュレータ、著者独自のDAVIS346リグ(7.5 cmベースライン)。C++/ROS、Intel Core i7-8750HノートPCのCPU上でリアルタイム動作(マッピングは約20 Hz)。
• マッピング: Studentの$t$ IRLS解法は標準的なLSより優れている(合成3平面データでの平均深度誤差2.15 cm対2.76 cm、標準偏差1.29対2.94 cm、加えて融合された推定値が約52%多い)。LiDAR真値を持つシーケンスにおいて、ステレオベースラインのGTS、SGM、CopNetと比較して、ESVOはすべての基準で最良である。例えばupenn_flying1: 平均誤差0.16 m、相対誤差3.05%であり、GTSの0.31 m / 5.64%、SGMの0.31 m / 5.58%、CopNetの0.59 m / 10.93%に対して優れている。
• 完全なVO: イベントベースのSGM+ICPベースラインに全6シーケンスで勝る(例: upenn_flying1でATE 13.9 cm対95.8 cm)。rpgハンドヘルドシーケンスではステレオORB-SLAM2(グローバルBAなし)にわずかに劣るが、フレームが苦手とするupennドローンシーケンスでは明らかに優れている(ATE 13.9対49.8 cm、11.1対50.2 cm)。
• 著者独自の記録において低照度・HDR条件下でのVOを実証した。ソフトウェア、リグ設計、データセットはオープンソースで公開されている(T-RO 2021に掲載)。これによりESVOは標準的なステレオイベントVOベースラインとなった。

SLAMにおける意義

ESVOは、フレームベースSLAMを成熟させたステレオのレシピ(ベースラインからのメトリックスケール、IMU不要)がイベントカメラにも移転できることを示した — ただしステレオマッチングを強度ではなくイベントのタイミングを中心に再考した後に限られる。その2つの主要なアイデア — 深度のためのステレオタイムサーフェス間の時空間的一貫性、および追跡のための距離場としてのタイムサーフェスの反転 — は標準的な手法となった。これはESVIOを直接的に動機づけた。ESVIOはこのステレオイベント設計の上に、タイトカップリングされたIMUと画像の融合を加えたものである。ESVOは、DEVOのような学習型のものを含む新しいシステムが比較対象とする基準点であり続けている。

関連ノート

• EVO
• ESVIO
• Event representations
• Disparity vs Depth