Event-based Vision Survey

Gallego 2020 · 論文

一行要約 — イベントベースビジョンの決定版サーベイ（TPAMI掲載）であり、センサー、イベント表現、アルゴリズム、応用を一貫した分類体系にまとめ、この分野への標準的な入門資料となっている。

問題

イベントカメラは、困難な状況下のロボティクスにとって革新的な特性を提供する——マイクロ秒単位の時間分解能とレイテンシ、非常に高いダイナミックレンジ（140 dB対60 dB）、そして低い電力消費（ダイレベルで約10 mW、フル組み込みシステムでも100 mW未満）である。しかし、その従来にない出力形式——ピクセル単位の輝度変化のスパースで非同期なストリーム——は、従来のコンピュータビジョンのツールセットとは相性が悪い。データは非同期かつスパースであるのに対し画像は同期的かつ密であり、各イベントは動きとシーンの輝度に依存する2値の変化情報しか持たず、時間コントラストの量子化に伴うノイズ過程も完全には特性づけられていない。2010年代後半までにこの分野の文献は急速に増加し、断片化していた。この分野は統一的な概観と共通の語彙を必要としていた。

手法とアーキテクチャ

本サーベイはすべてをイベント生成モデルに基づいて整理する。対数輝度 $L \doteq \log(I)$ を持つピクセルは、前回のイベント以降の輝度増分

$$\Delta L(\mathbf{x}_k, t_k) \doteq L(\mathbf{x}_k, t_k) - L(\mathbf{x}_k, t_k - \Delta t_k),$$

がコントラスト閾値に達したときにイベント $e_k \doteq (\mathbf{x}_k, t_k, p_k)$ を発火する。すなわち $\Delta L(\mathbf{x}_k, t_k) = p_k\,C$（極性 $p_k \in \{+1, -1\}$、$C > 0$、通常は10〜50%の照度変化）である。この式から2つの重要な帰結が分野全体を整理する。イベントは時間微分を近似する $\frac{\partial L}{\partial t}(\mathbf{x}_k, t_k) \approx \frac{p_k C}{\Delta t_k}$ということ、そして輝度恒常性を介してイベントは動くエッジによって引き起こされるということ $\Delta L \approx -\nabla L \cdot \mathbf{v}\,\Delta t$ であり、自分自身と平行に動く勾配はイベントを生成しない。この基盤から本サーベイは以下の分類体系を構築する。

• イベント表現: 個々のイベント（フィルタやスパイキングニューラルネットワーク向け）、イベントパケット、イベントフレーム/2Dヒストグラム、time surface（ピクセルごとの最終イベントのタイムスタンプ、すなわち運動履歴）、voxel grid（タイムスタンプを保持する空間-時間ヒストグラム）、3D点集合、そして動き補償イベント画像——動きの仮説によってイベントをワープし、得られたワープ済みイベント画像のシャープネス/コントラストを最大化する（contrast-maximizationフレームワーク）。
• 処理パラダイム: イベント単位の手法（確率的フィルタ、SNN——最小レイテンシ）対、イベント群/パケット単位の手法（信号対雑音比が良いが、ある程度のレイテンシがある）。直交する軸として、モデルベース対データ駆動のアプローチ。
• タスク別アルゴリズム: 特徴検出・追跡、オプティカルフロー、3D再構成（SLAM向けの瞬時ステレオおよび単眼マルチビュー）、姿勢推定・SLAM（回転のみや平面設定から、EVOのようなフル6-DOFのイベントのみのシステムまでの系譜）、画像再構成、セグメンテーション、認識、ニューロモルフィック制御。
• ハードウェアの文脈: センサーファミリー（DVS、DAVIS、ATIS、およびより高解像度の後継機）とメーカーによる仕様比較、加えてニューロモルフィックプロセッサ（SNNハードウェア）とイベントベース制御——アルゴリズムをそれが活用するシリコンへと結びつける。

実験結果

サーベイとしての貢献は実験的なものではなく、組織化そのものにある。本サーベイは分野の数百に及ぶ参考文献を、一つの一貫したモデルに基づく分類体系に凝縮し、その用語（time surface、voxel grid、motion compensation）は標準的な語彙となった。議論の章では、最良の表現や手法についての合意は存在しないこと——トレードオフ（レイテンシ対電力対精度、感度対帯域幅）はアプリケーション依存であり、大部分が定量化されていないこと——を正直に述べており、未解決の課題を列挙している。運動依存の見え方がデータアソシエーションを破綻させること、ノイズモデリング、エンドツーエンドのイベントベースの知覚から制御までのシステム、そしてディープラーニングをイベントに適応させることなどである。この分野の主要な研究グループ（Gallego、Delbruck、Scaramuzza、Davison、Leutenegger、Daniilidisら）によって書かれ、以来ほぼすべてのイベントビジョン論文でデフォルトの最初の引用元となっている。

SLAMにおける意義

イベントベースSLAMに触れる前に一つだけ読むべきものがあるとすればこのサーベイである。このレベルのほぼすべてのシステム（EVO、ESVO、Ultimate-SLAM、EKLT、EDS、DEVO）は、本サーベイが確立した語彙と分類体系の中で理解するのが最も容易であり、そのイベント生成方程式はこれらのシステムのフロントエンドが構築される物理モデルである。また、絶対輝度の欠落、ノイズ、運動依存の見え方の下でのデータアソシエーション、イベント上での学習といった未解決問題——今なお研究のフロンティアを定義するもの——を整理している。データセット（Event Camera Dataset、MVSEC、DSEC）、シミュレータ（ESIM、v2e）、コードについては、コミュニティ管理のAwesome-Event-based-Visionリポジトリと併せて参照すると良い。

関連ノート

• Event cameras (DVS)
• Event representations
• EVO
• ESVO
• Ultimate-SLAM