Challenges
이벤트 카메라에 장점을 부여하는 동일한 설계 선택이 실제 장애물도 만들어내는데, 이것이 아직 프로덕션 SLAM 시스템에서 표준으로 자리잡지 못한 이유입니다. 아래 각 과제는 감지 원리의 직접적인 귀결이며, 각각 자체적인 연구 흐름을 낳았습니다.
절대 강도 없음
이벤트는 밝기 그 자체가 아니라 밝기 변화를 인코딩합니다. 디스크립터, 장소 인식 네트워크, 또는 광도계 손실을 실행할 이미지가 없습니다. 외관을 복원하려면 공동 배치된 프레임 센서(공유 광학계 뒤에 DVS와 표준 센서를 짝지은 DAVIS처럼)나 강도 재구성 알고리즘이 필요하며, 둘 다 이벤트가 회피하고자 했던 한계를 일부 다시 끌어옵니다. 이것이 가장 근본적인 장애물입니다: 시각적 SLAM의 인식 관련 메커니즘(루프 클로저, 재위치 추정, 맵 재사용) 대부분이 외관을 전제로 합니다.
희소하고 비동기적인 출력
프레임도, 고정된 레이트도, 공통 타임스탬프의 밀집 픽셀 그리드도 존재하지 않습니다. 특징 검출기, 광학 흐름, 직접 정렬, CNN 등 사실상 고전적 비전 툴박스 전체가 이미지 배열을 전제로 하므로, 이벤트 데이터는 (새로운 알고리즘 설계를 통해) 네이티브로 처리되거나 중간 표현으로 집계되어야 하며, 후자는 센서를 선택한 바로 그 이유인 시간 해상도를 희생합니다. Event representations 문서가 이 트레이드오프를 자세히 다룹니다.
새로운 알고리즘이 필요함
위 두 가지 때문에, 이벤트 기반 SLAM은 ORB-SLAM이나 DSO 스타일의 파이프라인을 그대로 재사용할 수 없었습니다. 이 분야는 자체적인 메커니즘을 새로 발명해야 했습니다: 모션 추정을 위한 대비 최대화, 데이터 연관을 위한 타임 서페이스, 이벤트 기반 특징 추적기(EKLT), 이벤트에 적응된 스테레오 매칭(ESVO), 시뮬레이션된 이벤트로 학습된 파이프라인(DEVO). 프레임 기반 SLAM에서 당연시되던 모든 서브시스템을 다시 구축해야 했습니다.
움직임에 의존하는 신호
이벤트는 (카메라 대비) 강도 엣지가 움직이는 곳에서만 발화합니다. 느리거나 거의 정지한 움직임에서는 센서가 조용해지며 — 정지 비행 중인 드론은 시각적 신호를 거의 받지 못합니다 — 이벤트 스트림의 모습은 움직임 방향과 속도에 따라 달라집니다: 동일한 장면도 카메라가 어떻게 움직이는지에 따라 다르게 “보입니다”. 이는 매칭, 매핑, 루프 클로저를 복잡하게 만들며, 융합 시스템(Ultimate-SLAM, ESVIO)이 느린 영역을 위해 프레임 카메라를 루프에 계속 유지하는 핵심 이유입니다.
잡음, 대역폭 급증, 성숙도
- 잡음: 실제 센서는 상당한 허위(“잡음”) 이벤트를 생성하며, 유효 대비 임계값은 센서 개체마다, 온도와 장면 밝기에 따라 달라집니다 — 한 장치에서 튜닝된 알고리즘이 다른 장치에서는 조용히 성능이 저하될 수 있습니다.
- 대역폭 급증: 텍스처가 풍부한 장면이 빠르게 움직이면 초당 수백만 개의 이벤트를 방출하여 하류 처리를 포화시킬 수 있습니다 — 낮은 평균 대역폭이라는 장점이 최악의 경우에는 역전됩니다.
- 생태계 성숙도: 이벤트 기반 루프 클로저와 장소 인식은 대체로 아직 미해결 문제이며, 그 때문에 대부분의 시스템은 드리프트 보정이 없는 오도메트리 전용입니다. 센서는 여전히 상용 카메라에 비해 고가입니다(iniVation DAVIS나 Prophesee 장치 같은 현재 연구용 하드웨어는 대략 $500~$5000, 반면 USB 카메라는 수십 달러 수준).
- 시뮬레이션-실제 간극: 학습 기반 방법은 일반적으로 시뮬레이션된 이벤트(ESIM, v2e)로 학습되는데, 시뮬레이터는 실제 센서 잡음을 완벽하게 근사하지 못해 도메인 간극을 만들며, DEVO와 같은 시스템은 이를 명시적으로 극복해야 합니다.
요약
| 과제 | 결과 | 일반적 완화 방법 |
|---|---|---|
| 절대 강도 없음 | 인식/루프를 위한 외관 정보 없음 | 공동 배치된 프레임(DAVIS), 강도 재구성 |
| 비동기적 희소성 | 고전적 툴박스 적용 불가 | 이벤트 표현, 네이티브 이벤트 알고리즘 |
| 움직임 의존적 신호 | 정지 시 무신호; 시점 의존적 외관 | 프레임 + IMU 융합 (Ultimate-SLAM, ESVIO) |
| 잡음 및 대역폭 급증 | 조용한 성능 저하, 처리 과부하 | 필터링, 모션 보상, 파라미터 튜닝 |
| 시뮬레이션-실제 간극 | 학습 모델이 시뮬레이터에 과적합 | 더 나은 시뮬레이터, 도메인 무작위화 |
SLAM에서의 의미
이벤트 카메라를 선택하는 것은 단순한 센서 교체가 아니라 시스템 차원의 결정입니다: 전체 프론트엔드를 다시 생각해야 하며, 드리프트 보정(루프 클로저) 지원은 프레임 기반 SLAM보다 훨씬 약합니다. 실제로 가장 성공적인 설계는 이벤트를 보완물로 취급합니다 — 이벤트를 프레임과 IMU와 융합(Ultimate-SLAM, ESVIO)하여 각 모달리티가 다른 모달리티의 사각지대를 덮도록 합니다. 이러한 한계를 이해하면 추가적인 복잡성이 언제 가치가 있는지 알 수 있습니다: 고속 플랫폼, HDR 환경, 저지연 제어가 필요한 경우입니다.