Event representations

生のイベントストリームは、タプル $e_k = (\mathbf{x}_k, t_k, p_k)$ のスパースで非同期なリストであり、これをそのまま消費できる下流アルゴリズムはほとんど存在しない。追跡、マッピング、あるいはニューラルネットワークへの入力の前に、多くのシステムはイベントのバッチを中間表現に変換する。表現の選択はイベントベースビジョンにおける中心的な設計判断の一つであり、時間的忠実度と既存アルゴリズムとの互換性の間でトレードオフを取る。

イベントフレーム/ヒストグラム

時間窓（または固定イベント数）にわたってイベントを2D画像に集約する。

$H(x, y) = \sum_k p_k \cdot \delta(\mathbf{x}_k - (x, y))$

シンプルで、画像ベースの任意のアルゴリズム（特徴検出、CNN、直接アラインメント）と互換性があり、多くの追跡フロントエンドの基盤となっている。コストとしては、窓内の時間的構造が失われることと、「画像」の見え方が動きの速度と窓長に依存することが挙げられる。

Time surface

各ピクセルに直近のイベントの時刻を保存し、通常は指数減衰を通して表現する。

$\mathcal{T}(\mathbf{x}, t) = \exp\!\left(-\frac{t - t_{\text{last}}(\mathbf{x})}{\tau}\right)$

これは活動の直近性を符号化する——最近活動したピクセルは明るく、古いものは薄れていく——これにより、レジストレーションやデータアソシエーションに適した滑らかで勾配の豊かなマップが生成される。例えばESVOの追跡は、time surfaceに対するアラインメントを行う。減衰定数 $\tau$ は実際の調整パラメータであり、短すぎればsurfaceがスパースになり、長すぎれば履歴がにじんでしまう。

Voxel grid

イベントを、空間と離散化された時間にわたる3Dテンソルにビン分けする。

$V(x, y, b) = \sum_{k:\, t_k \in \text{bin}_b} p_k \cdot \delta(\mathbf{x}_k - (x, y))$

Voxel gridは、粗い時間的構造を保持しつつ、標準的な2D/3D CNNが処理できる密なテンソルのままである——DEVOのような学習型イベントパイプラインのデフォルト入力である——代償はメモリと固定的なビン分割の選択である。

Spike tensor / イベント点群

イベント自体を $(x, y, t)$ 空間内の点として扱い、PointNetスタイルのネットワークや、非同期スパイク上でネイティブに動作するスパイキングニューラルネットワーク(SNN)で処理する。これは（集約を全く行わない）最も忠実な表現であるが、専用のアーキテクチャを必要とし、SNNの場合は効率上の利点を実現するためにニューロモルフィックハードウェアを必要とする。

動き補償イベント画像

5番目のファミリーは特筆すべきものである。なぜなら、動きの推定値そのものが表現に入り込むからである。各イベントを、集約する前に候補となる動き（カメラ姿勢軌跡、オプティカルフロー）に沿って共通の基準時刻にワープする。

$H_{\mathbf{w}}(\mathbf{x}) = \sum_k p_k \cdot \delta\!\left(\mathbf{x} - \mathbf{W}(\mathbf{x}_k, t_k;\, \boldsymbol{\theta})\right)$

動きの仮説 $\boldsymbol{\theta}$ が正しければ、同一のシーンエッジによって生成されたイベントは同じピクセルに落ち、画像はシャープになる。仮説が誤っていれば画像はブレる。Contrast maximizationはこれを目的関数に変換する—— $H_{\mathbf{w}}$ のシャープネス（例えば分散）を最大化する動きを選ぶ——これは自己運動やフロー推定のための、この分野における基本的なモデルベースの手法の一つである。同じ発想は、ESVIOにおけるIMUベースの動き補償としても現れる。ここではマッチング前にイベントを基準時刻にワープすることでシーンエッジをシャープにしている。

表現の選び方

表現	時間的忠実度	互換性	典型的な用途
イベントフレーム	低い（窓内で圧縮）	最高（任意の画像アルゴリズム）	追跡フロントエンド、CNN
Time surface	中程度（直近性のみ）	高い	レジストレーション、データアソシエーション (ESVO)
Voxel grid	中〜高（ビン分割）	高い（CNN）	学習型VO (DEVO)
動き補償画像	高い（イベント単位の時刻を利用）	中程度（動き推定が必要）	Contrast maximization、VIOフロントエンド
Spike/点	完全	低い（専用アーキテクチャ）	SNN、PointNetスタイルのモデル

これらを構築する際によくある落とし穴は以下の通りである。

固定時間窓対固定イベント数: 固定時間窓は動きの速度が変わると事件数が大きく変動する一方、固定イベント数の窓は自動的に適応するがレイテンシが可変になる。この理由から、多くのシステムは固定イベント数を好む。
極性の扱い: 符号付き極性を単純に加算すると、2回横切ったエッジ上のイベントが打ち消し合う。正負を別チャネルに分けることで、2倍のメモリでより多くの情報を保持できる。
動き依存性: どのような窓表現も速度が異なると「見え方」が変わる——ある速度域で訓練・調整されたマッチャーは、別の速度域では失敗する可能性がある。

SLAMにおける意義

すべてのイベントベースSLAMシステムは、暗黙的に「生のストリームをどう扱うか」という問いにまず答えており、その答えが下流のすべてを形作る。イベントフレームはフレームのような追跡パイプラインを可能にし、time surfaceはESVOにおけるステレオマッチングとマップレジストレーションを可能にし、動き補償画像はcontrast-maximization追跡とESVIOのフロントエンドの基盤となり、voxel gridはDEVOにおいて深層フレームベースVOアーキテクチャ（DPVO/DROIDスタイル）をイベントに再利用することを可能にした。これらの表現——そして各表現が何を捨てているか——を理解することは、イベントSLAM文献を批判的に読み解くための最も速い道である。