이벤트 카메라 (DVS)

이벤트 카메라, 즉 동적 비전 센서(Dynamic Vision Sensor, DVS)는 모든 픽셀이 독립적이고 비동기적으로 동작하는 바이오 영감 카메라입니다. 고정된 속도로 전체 밝기 프레임을 포착하는 대신, 각 픽셀은 해당 위치의 로그 휘도를 모니터링하고 변화가 대비 임계값을 초과하는 순간 이벤트를 발생시킵니다. 출력은 이미지의 시퀀스가 아니라 마이크로초 시간 해상도를 갖는 희소하고 연속적인 이벤트 스트림입니다.

이벤트 생성 모델

각 이벤트는 다음과 같은 튜플입니다

$e_k = (\mathbf{x}_k, t_k, p_k)$

여기서 $\mathbf{x}_k = (u_k, v_k)$ 는 픽셀 좌표, $t_k$ 는 타임스탬프(마이크로초 해상도), $p_k \in \{+1, -1\}$ 은 극성 — 밝기가 증가했는지 감소했는지를 나타냅니다. 발화 조건은 다음과 같습니다:

\Delta L(\mathbf{x}, t) = L(\mathbf{x}, t) - L(\mathbf{x}, t_{\text{last}}) \geq +C \;\Rightarrow\; p = +1

\Delta L(\mathbf{x}, t) = L(\mathbf{x}, t) - L(\mathbf{x}, t_{\text{last}}) \leq -C \;\Rightarrow\; p = -1

여기서 $L = \log$ 휘도이고 $C \approx 0.1$ – $0.5$ 는 센서 펌웨어에 설정된 대비 임계값입니다. 비교가 로그 공간에서 이루어지기 때문에 센서는 상대적인 밝기 변화에 반응하며, 이것이 엄청난 동적 범위를 제공하는 이유입니다.

이벤트는 어디에서 오는가? 움직이는 엣지

짧은 시간 간격에서 픽셀의 밝기 변화는 밝기 불변성을 선형화하여 잘 근사할 수 있습니다:

$\Delta L(\mathbf{x}) \approx -\nabla L(\mathbf{x}) \cdot \mathbf{v}(\mathbf{x})\, \Delta t$

즉, 변화량은 이미지 그래디언트와 광학 흐름의 내적과 같습니다. 이 방정식에 대한 두 가지 해석이 이벤트 기반 비전의 많은 부분을 이끕니다:

이벤트는 움직이는 밝기 엣지에서 발화합니다. $\nabla L = 0$ (텍스처 없는 영역)이거나 $\mathbf{v} = 0$ (상대 운동 없음)인 곳에서는 이벤트가 발화하지 않습니다. 이벤트 스트림은 본질적으로 장면의 엣지가 움직이는 모습을 담은 영화입니다.
이벤트는 그래디언트 + 동작으로부터 예측 가능합니다. 밝기 이미지와 동작 가설이 주어지면 이벤트 패턴을 예측할 수 있습니다 — 이는 EKLT가 특징 추적에, EDS가 직접 정렬에 활용하는 생성 모델이며, 동작 추정을 위한 대비 최대화의 기반이기도 합니다.

이 설계의 실용적 귀결

데이터는 동작에 의해 발생합니다: 정적인 장면을 보는 정적인 카메라는 (거의) 아무런 출력을 만들지 않습니다. 이는 전력/대역폭 측면에서는 장점이지만 SLAM 관점에서는 문제입니다 — 과제를 참고하십시오.
글로벌 셔터도 노출 시간도 없음: 블러가 생길 프레임 자체가 없습니다; 각 이벤트는 엣지가 픽셀을 지나간 정확한 순간을 인코딩합니다.
비동기 출력: 자연스러운 “프레임 속도”가 존재하지 않습니다 — 알고리즘은 이벤트를 하나씩 처리하거나 중간 표현으로 집계해야 합니다(이벤트 표현 참고).
잡음은 실재합니다: 실제 센서는 허위 이벤트를 방출하며, 유효 임계값 $C$ 는 개별 유닛마다, 온도에 따라서도 달라집니다 — 배치되는 모든 시스템에서 실질적인 보정상의 관심사입니다.

프레임 카메라 대 이벤트 카메라

속성	프레임 카메라	이벤트 카메라 (DVS)
출력	고정 속도의 전체 이미지	희소한 비동기 이벤트 스트림
시간 해상도	~10–100 ms	~1 µs
동적 범위	~60 dB	140 dB+
모션 블러	있음 (노출)	없음
절대 밝기	있음	없음 (변화량만)
데이터 속도	일정 (해상도 × fps)	장면 활동에 따라 변화

하드웨어 현황

일반적인 하드웨어로는 iniVation DAVIS 계열과 Prophesee Metavision 센서(Sony가 제조한 IMX636 세대 포함)가 있습니다. DAVIS 설계는 하나의 칩에서 공유 광학계 뒤에 DVS와 표준 프레임 센서(APS), IMU를 함께 배치하여 단일 장치로부터 완벽하게 정렬된 이벤트, 프레임, 관성 데이터를 제공하기 때문에 SLAM에 특히 중요합니다. 이는 정확히 Ultimate-SLAM 같은 융합 시스템과 EKLT 같은 하이브리드 트래커가 전제로 하는 하드웨어입니다.

하드웨어 없이 시작하려면: Gallego 2020 서베이가 표준적인 참고 자료이고, Event Camera Dataset과 MVSEC/DSEC가 표준 벤치마크이며, ESIM과 v2e 같은 시뮬레이터는 일반 비디오로부터 합성 이벤트를 생성합니다 — DEVO 같은 학습 기반 시스템이 사용하는 훈련 데이터 경로입니다. 커뮤니티가 관리하는 Awesome-Event-based-Vision 저장소가 이 모든 것을 색인화합니다.

SLAM에서의 의미

이벤트 카메라는 프레임 기반 시각 SLAM이 실패하는 조건들을 정확히 다룹니다: 빠른 동작(모션 블러), 높은 동적 범위 장면(포화), 저조도입니다. 마이크로초 단위의 지연 시간은 또한 30–60 Hz를 훨씬 뛰어넘는 속도의 상태 추정을 가능하게 하는데, 이는 쿼드로터 같은 민첩한 로봇에 중요합니다. 그러나 완전히 다른 출력 형식 때문에 기존 SLAM 프론트엔드를 직접 적용할 수 없으며 — 이 센서를 중심으로 완전히 새로운 알고리즘 계열(EVO, ESVO, EKLT, Ultimate-SLAM, DEVO)이 개발되어야 했습니다.