이벤트 기반 비전 서베이
Gallego 2020 · 논문
한 줄 요약 — 이벤트 기반 비전의 결정판 서베이(TPAMI에 게재)로, 센서, 이벤트 표현, 알고리즘, 응용을 하나의 일관된 분류체계로 정리하여 이 분야에 입문하는 표준 출발점 역할을 합니다.
문제
이벤트 카메라는 까다로운 시나리오에서 로봇 공학에 혁신적인 특성을 제공합니다 — 마이크로초 단위의 시간 해상도와 지연 시간, 매우 높은 동적 범위(140 dB 대 60 dB), 낮은 전력 소비(다이 수준에서 약 10 mW, 완전한 임베디드 시스템에서 100 mW 미만)입니다. 그러나 픽셀별 밝기 변화의 희소하고 비동기적인 스트림이라는 이례적인 출력 형태는 기존 컴퓨터 비전 도구와 호환되지 않습니다: 이미지가 동기적이고 밀집한 반면 데이터는 비동기적이고 희소하며, 각 이벤트는 동작뿐 아니라 장면 밝기에도 의존하는 이진 변화 정보만을 담고, 시간적 대비를 양자화하는 잡음 과정은 완전히 규명되지 않았습니다. 2010년대 후반에 이르러 관련 문헌은 빠르게 증가하며 파편화되었고, 이 분야는 통합적 개관과 공통 용어가 필요했습니다.
방법 및 아키텍처
이 서베이는 모든 내용을 이벤트 생성 모델에 근거합니다: 로그 밝기 를 갖는 픽셀은 마지막 이벤트 이후의 밝기 증분이
대비 임계값에 도달하면 이벤트 를 발화시킵니다: 극성 과 (일반적으로 10–50%의 조도 변화)에 대해 입니다. 두 가지 귀결이 이 분야의 많은 부분을 구성합니다: 이벤트는 시간적 미분을 근사합니다, , 그리고 — 밝기 불변성을 통해 — 이벤트는 움직이는 엣지에 의해 발생합니다: 이므로, 그래디언트가 자기 자신과 평행하게 움직이면 이벤트가 발생하지 않습니다. 이 토대로부터 서베이는 다음과 같은 분류체계를 구축합니다:
- 이벤트 표현: 개별 이벤트(필터와 스파이킹 신경망용), 이벤트 패킷, 이벤트 프레임/2D 히스토그램, 타임 서피스(픽셀별 마지막 이벤트 타임스탬프, 즉 동작 이력), 복셀 그리드(타임스탬프를 보존하는 시공간 히스토그램), 3D 점 집합, 그리고 동작 보상 이벤트 이미지—동작 가설에 따라 이벤트를 워핑하고 그 결과로 얻은 워핑된 이벤트 이미지의 선명도/대비를 최대화하는 방식(대비 최대화 프레임워크).
- 처리 패러다임: 이벤트별 처리 방법(확률론적 필터, SNN — 최소 지연 시간) 대 이벤트 그룹/패킷 단위 처리 방법(더 나은 신호 대 잡음비, 일정한 지연 시간); 이와 별개로 모델 기반 대 데이터 기반 접근법.
- 작업별 알고리즘: 특징 검출 및 추적, 광학 흐름, 3D 재구성(SLAM을 위한 순간 스테레오와 단안 다중 시점), 포즈 추정 및 SLAM(회전만 다루는 방식과 평면 환경 설정에서 EVO 같은 완전한 6-DOF 이벤트 전용 시스템까지 추적), 이미지 재구성, 분할, 인식, 뉴로모픽 제어.
- 하드웨어 맥락: 센서 계열(DVS, DAVIS, ATIS 및 더 높은 해상도의 후속 모델)에 대한 제조사 사양 비교와, 뉴로모픽 프로세서(SNN 하드웨어) 및 이벤트 기반 제어를 다루어 알고리즘을 그것이 활용하는 실리콘과 연결합니다.
실험 결과
서베이로서 이 논문의 기여는 실험적이라기보다 조직적입니다: 이 분야의 수백 편에 이르는 참고문헌을 하나의 일관된 모델 기반 분류체계로 정제하며, 그 용어(타임 서피스, 복셀 그리드, 동작 보상)가 표준 어휘가 되었습니다. 논의 섹션은 최선의 표현이나 방법에 대한 합의가 없다는 점을 솔직하게 밝힙니다 — 트레이드오프(지연 시간 대 전력 대 정확도; 민감도 대 대역폭)는 응용에 따라 달라지며 대부분 정량화되지 않았습니다 — 그리고 미해결 과제를 나열합니다: 동작에 의존하는 외관이 데이터 연관을 깨뜨리는 문제, 잡음 모델링, 인식에서 제어까지의 엔드투엔드 이벤트 기반 시스템, 딥러닝을 이벤트에 적용하는 문제. 이 분야를 이끄는 연구 그룹들(Gallego, Delbruck, Scaramuzza, Davison, Leutenegger, Daniilidis 등)이 작성했으며, 이후 거의 모든 이벤트 비전 논문의 기본 첫 인용 문헌입니다.
SLAM에서의 의미
이벤트 기반 SLAM을 다루기 전에 딱 하나만 읽어야 한다면 이 서베이를 읽으십시오: 이 레벨의 거의 모든 시스템(EVO, ESVO, Ultimate-SLAM, EKLT, EDS, DEVO)은 이 논문이 확립한 용어와 분류체계로 이해하는 것이 가장 쉬우며, 이 논문의 이벤트 생성 방정식은 그 시스템들의 프론트엔드가 구축되는 물리적 모델입니다. 또한 절대 밝기 손실, 잡음, 동작 의존적 외관 하에서의 데이터 연관, 이벤트에 대한 학습 등 여전히 연구 프론티어를 정의하는 미해결 문제들도 짚어줍니다. 데이터셋(Event Camera Dataset, MVSEC, DSEC), 시뮬레이터(ESIM, v2e), 코드를 위해 커뮤니티가 관리하는 Awesome-Event-based-Vision 저장소와 함께 참고하십시오.