이벤트 표현

원시 이벤트 스트림은 튜플 $e_k = (\mathbf{x}_k, t_k, p_k)$ 의 희소하고 비동기적인 목록입니다 — 다운스트림 알고리즘 대부분이 직접 소비할 수 없는 형식입니다. 추적, 매핑, 또는 신경망에 입력하기 전에 대부분의 시스템은 이벤트 묶음을 중간 표현으로 변환합니다. 표현 방식의 선택은 이벤트 기반 비전에서 핵심적인 설계 결정 중 하나로, 시간적 충실도와 기존 알고리즘과의 호환성 사이의 트레이드오프입니다.

이벤트 프레임 / 히스토그램

시간 창(또는 고정된 이벤트 개수)에 걸쳐 이벤트를 누적하여 2D 이미지로 만듭니다:

$H(x, y) = \sum_k p_k \cdot \delta(\mathbf{x}_k - (x, y))$

단순하고, 어떤 이미지 기반 알고리즘(특징 검출, CNN, 직접 정렬)과도 호환되며, 많은 추적 프론트엔드의 기반이 됩니다. 대가는: 창 내부의 시간적 구조가 버려지고, “이미지”의 외관이 동작 속도와 창 길이에 의존한다는 것입니다.

타임 서피스

각 픽셀에 가장 최근 이벤트의 시각을 저장하며, 보통 지수 감쇠를 통과시킵니다:

$\mathcal{T}(\mathbf{x}, t) = \exp\!\left(-\frac{t - t_{\text{last}}(\mathbf{x})}{\tau}\right)$

이는 활동의 최신성을 인코딩합니다 — 최근에 활성화된 픽셀은 밝고 오래된 픽셀은 희미해집니다 — 정렬과 데이터 연관에 적합한 매끄럽고 그래디언트가 풍부한 맵을 만들어냅니다. 예를 들어 ESVO의 추적은 타임 서피스에 대해 정렬을 수행합니다. 감쇠 상수 $\tau$ 는 실제로 조정해야 하는 파라미터입니다: 너무 짧으면 서피스가 희소해지고, 너무 길면 이력이 뭉개집니다.

복셀 그리드

이벤트를 공간과 이산화된 시간에 대한 3D 텐서로 비닝합니다:

$V(x, y, b) = \sum_{k:\, t_k \in \text{bin}_b} p_k \cdot \delta(\mathbf{x}_k - (x, y))$

복셀 그리드는 대략적인 시간 구조를 보존하면서도 표준 2D/3D CNN이 처리할 수 있는 밀집 텐서로 남아 있습니다 — DEVO 같은 학습 기반 이벤트 파이프라인의 기본 입력입니다 — 그 대가는 메모리와 고정된 비닝 선택입니다.

스파이크 텐서 / 이벤트 포인트 클라우드

이벤트 자체를 $(x, y, t)$ 공간의 점으로 취급하여, PointNet 스타일 네트워크나 비동기 스파이크를 네이티브하게 처리하는 스파이킹 신경망(SNN)으로 처리합니다. 이는 가장 충실한 표현이지만(전혀 집계하지 않음) 특화된 아키텍처가 필요하며, SNN의 경우 효율성 이점을 실현하려면 뉴로모픽 하드웨어가 필요합니다.

동작 보상 이벤트 이미지

다섯 번째 계열은 동작 추정치 자체가 표현에 관여하기 때문에 특별히 언급할 가치가 있습니다. 누적하기 전에 각 이벤트를 후보 동작(카메라 포즈 궤적, 광학 흐름)에 따라 공통 기준 시각으로 워핑합니다:

$H_{\mathbf{w}}(\mathbf{x}) = \sum_k p_k \cdot \delta\!\left(\mathbf{x} - \mathbf{W}(\mathbf{x}_k, t_k;\, \boldsymbol{\theta})\right)$

동작 가설 $\boldsymbol{\theta}$ 가 정확하면 동일한 장면 엣지에서 발생한 이벤트들이 같은 픽셀에 모여 이미지가 선명해지고, 가설이 틀리면 이미지가 블러됩니다. 대비 최대화는 이를 목적 함수로 전환합니다 — $H_{\mathbf{w}}$ 의 선명도(예: 분산)를 최대화하는 동작을 선택하는 방식이며 — 자기 운동과 흐름 추정을 위한 이 분야의 근본적인 모델 기반 도구 중 하나입니다. 동일한 개념이 ESVIO에서 IMU 기반 동작 보상으로 등장하는데, 여기서는 매칭 전에 이벤트를 기준 시점으로 워핑하여 장면 엣지를 선명하게 만듭니다.

표현 선택하기

표현	시간적 충실도	호환성	대표적 용도
이벤트 프레임	낮음 (창 내부 붕괴)	최고 (어떤 이미지 알고리즘과도)	추적 프론트엔드, CNN
타임 서피스	중간 (최신성만)	높음	정렬, 데이터 연관 (ESVO)
복셀 그리드	중상 (비닝됨)	높음 (CNN)	학습 기반 VO (DEVO)
동작 보상 이미지	높음 (이벤트별 시간 사용)	중간 (동작 추정 필요)	대비 최대화, VIO 프론트엔드
스파이크 / 포인트	완전	낮음 (특수 아키텍처)	SNN, PointNet 스타일 모델

이런 표현을 만들 때 흔히 겪는 함정:

고정 시간 창 대 고정 이벤트 개수: 고정 시간 창은 동작 속도가 변하면 이벤트 개수가 크게 변동합니다; 고정 개수 창은 자동으로 적응하지만 지연 시간이 가변적입니다. 이런 이유로 많은 시스템이 고정 개수 방식을 선호합니다.
극성 처리: 부호가 있는 극성을 합산하면 두 번 지나간 엣지의 이벤트가 상쇄됩니다; 양극과 음극을 별도 채널로 분리하면 메모리를 2배 사용하는 대신 더 많은 정보를 보존합니다.
동작 의존성: 어떤 창 기반 표현이든 속도에 따라 다르게 “보입니다” — 한 속도 영역에서 훈련되거나 조정된 매처는 다른 속도 영역에서 실패할 수 있습니다.

SLAM에서의 의미

모든 이벤트 기반 SLAM 시스템은 암묵적으로 “원시 스트림을 어떻게 처리할 것인가?”라는 질문에 먼저 답하며, 그 답이 이후의 모든 것을 결정합니다: 이벤트 프레임은 프레임과 유사한 추적 파이프라인을 가능하게 했고, 타임 서피스는 ESVO에서 스테레오 매칭과 맵 정렬을 가능하게 했으며, 동작 보상 이미지는 대비 최대화 추적과 ESVIO의 프론트엔드를 뒷받침하고, 복셀 그리드는 DEVO에서 딥러닝 기반 프레임 VO 아키텍처(DPVO/DROID 스타일)를 이벤트에 재사용할 수 있게 했습니다. 이러한 표현들 — 그리고 각각이 버리는 것 — 을 이해하는 것이 이벤트 SLAM 문헌을 비판적으로 읽는 가장 빠른 길입니다.