EVO

Rebecq 2017 · 論文

一行要約 — EVOは、イベントベース視覚オドメトリの先駆的システムである。純粋に幾何学的な並列トラッキング・マッピングパイプラインであり、イベントストリームのみから6-DoFカメラ運動を推定し、セミデンスな3Dマップを再構成する。標準的なCPU上でリアルタイムに動作し、最大で秒あたり数百姿勢を出力する。

問題

EVO以前、イベントベースの自己運動推定は限定的な設定に限られていた——回転のみの運動、人工的な白黒模様を持つ平面シーン、既知のマップや姿勢、RGB-Dセンサーの取り付け、あるいは特徴検出のための輝度画像などである。一般的なケースをカバーする唯一の先行システム(Kim 2016)は、画像輝度の再構成と深度の正則化を必要とし、GPUを要求し、定性的にのみ評価されていた。中核的な難しさは、イベントが絶対輝度を持たないため、古典的な特徴マッチングも測光アラインメントも直接には適用できないことである。EVOは、最も一般的なシナリオ——6-DoF運動、自然な3Dシーン、イベントのみ——を、輝度を一切推定しないCPUリアルタイムの幾何学的アプローチで対象とする。

手法とアーキテクチャ

PTAM流に、追跡モジュールとマッピングモジュールを交互に実行し、それぞれが他方の出力を消費する構成である。

• 画像対モデルアラインメントによる追跡: バイナリのイベント画像 $I$（最近イベントが発火したピクセル）を、基準姿勢からのセミデンスな3Dマップの投影であるテンプレート $M$（ガウシアン $\sigma = 0.8$ px で平滑化され、投影されたエッジへの距離関数を近似する）に対して位置合わせする。直接VOにおける測光誤差は、幾何学的なエッジアラインメント誤差に置き換えられ、逆合成Lucas-Kanade法で最小化される。

$$\sum_{u} \bigl( M(\mathsf{W}(u;\Delta T)) - I(\mathsf{W}(u;T)) \bigr)^2, \qquad T \leftarrow T \cdot (\Delta T)^{-1},$$

3D剛体ワープは $\mathsf{W}(u;T) := \pi(T \cdot \pi^{-1}(u, d_u))$ として定義され、$d_u$ はピクセル $u$ における既知のマップ深度であり、姿勢はツイスト $\xi \in \mathbb{R}^6$、$T = \exp(\hat{\xi}) \in SE(3)$ でパラメータ化される。逆合成により、$M$依存の微分を事前計算し、多数のイベント画像にわたって再利用できる。

• イベント画像の構築: 1枚の画像あたり $N_e$ 個のイベントが集約される（$N_e \approx$ マップの点数の70%、約2000イベント、1〜3 Mevents/sで0.6〜2 msの範囲）。ストリーム上のスライディングウィンドウが姿勢の出力レートを決める。追跡はランダムなピクセルバッチ（300〜500ピクセル、最大5エポック）に対する確率的勾配降下法を用いる——連続するイベント画像はサブピクセル程度しか離れていないため、粗密ピラミッドは不要である。
• EMVSによるマッピング: イベントはレイとして逆投影され、Disparity Space Image (DSI)——逆深度で均等に配置された50個の深度平面を持つ、キーフレームを中心とした投影voxel grid——に集められる。各voxelは通過するレイをカウントする。レイ密度の局所最大値が3Dエッジを示す。DSIは深度・信頼度マップへと圧縮され、適応的閾値処理でセミデンス深度マップとなり、フィルタリング（15×15メディアン、半径外れ値除去）を経て点群となる。輝度も明示的なデータアソシエーションも用いない。
• キーフレーミングと相互作用: 直前のキーフレームからの距離を平均シーン深度で割った値が約15%を超えると、新しいキーフレームが作成される。DSIは直近200万イベントから再計算され、逐次的に洗練され、10万イベントごとに更新された点群が抽出される一方、追跡は前のマップ上で継続する。ブートストラッピングは最初の $\tau$ 秒間、正面平行な平面シーンを仮定する。
• オプションの輝度復元: 線形化されたイベント生成モデル $-\langle \nabla L, \dot{u}\Delta t \rangle = C$（輝度変化がコントラスト閾値 $C$ に達する）とPoisson再構成を用いることで、EVOの出力はHDR・超解像・ブレのない輝度画像を生成できる——しかしパイプラインはそれを一切必要としない。

実験結果

• DAVISセンサー（240×180ピクセル、約130 dBダイナミックレンジ、マイクロ秒分解能）からのデータを使用。フレームは可視化目的のみに使用。GroundtruthはOptitrackモーションキャプチャシステムから取得。
• 単一キーフレーム、激しい動き（最大780°/s、室内照明を系列中で消灯・点灯）: 35 mの軌道にわたって平均誤差2°回転、2 cm並進——相対位置誤差0.057%。
• 複数キーフレーム軌道: バンドル調整やポーズ再洗練を行わずに、30 mにわたって6 cmの並進ドリフトと約3°の回転ドリフト——相対位置誤差0.2%。
• 計算: Intel Core i7-4810MQ @ 2.80 GHz上で、EVOは約1.5 Mevents/sを処理し、秒あたり500姿勢以上を計算する。中程度の速度ではリアルタイムの1.25〜3倍高速に動作し、高速な動きの下では最悪でもリアルタイムの2倍程度の遅さにとどまる。
• 混雑した街路での激しい動きと動く要素（歩行者、自転車）を含む定性的な屋外実験、およびHDRシーケンス——標準カメラのVOが破綻する条件である。

SLAMにおける意義

EVOはイベントベースSLAMのテンプレートを確立した。フロントエンドをイベントの幾何学に合わせて再設計すれば——測光誤差の代わりにエッジアラインメント、対応関係の代わりにレイ密度による投票——古典的な追跡・マッピングの分離がまったく異なるセンサーへの移行を生き延びることを示したのである。それ以降のほぼすべてのイベントオドメトリシステムはEVOを基準として自らを位置づけている。ESVOはこの発想をステレオに拡張し（単眼のスケール曖昧性を解消）、Ultimate-SLAMはあらゆる条件下でのロバスト性のためにフレームとIMUを追加し、DEVOのような学習型システムはこれを古典的な系譜のベースラインとして利用する。

関連ノート

• ESVO
• EDS
• Ultimate-SLAM
• PTAM
• Event-based Vision Survey