EVO

Rebecq 2017 · 논문

한 줄 요약 — EVO는 선구적인 이벤트 기반 시각적 주행 거리 측정 시스템으로, 순수하게 기하학적인 병렬 추적-매핑 파이프라인을 통해 이벤트 스트림만으로 6-DoF 카메라 동작을 추정하고 반밀집 3D 맵을 재구성하며, 표준 CPU에서 초당 수백 포즈에 이르는 속도로 실시간 동작합니다.

문제

EVO 이전에는 이벤트 기반 자기 운동 추정이 제한된 설정에만 국한되어 있었습니다 — 회전만 있는 동작, 인공적인 흑백 패턴이 있는 평면 장면, 알려진 맵이나 포즈, 부착된 RGB-D 센서, 또는 특징 검출을 위한 밝기 이미지 등입니다. 일반적인 경우를 다룬 유일한 선행 시스템(Kim 2016)은 이미지 밝기를 재구성하고 깊이를 정규화해야 했으며 GPU를 필요로 했고 정성적으로만 평가되었습니다. 핵심 난제는 이벤트가 절대 밝기를 전혀 담지 않아 고전적 특징 매칭이나 광도 정렬을 직접 적용할 수 없다는 것입니다. EVO는 밝기를 전혀 추정하지 않는 CPU 실시간 기하학적 접근법으로 가장 일반적인 시나리오 — 6-DoF 동작, 자연스러운 3D 장면, 이벤트만 — 를 목표로 합니다.

방법 및 아키텍처

추적과 매핑 모듈을 번갈아 실행하는 PTAM 스타일의 분리 구조로, 각 모듈은 서로의 출력을 소비합니다:

• 이미지-모델 정렬을 통한 추적: 이진 이벤트 이미지 $I$(최근 이벤트가 발화한 픽셀들)를 템플릿 $M$에 대해 정렬합니다 — $M$은 기준 포즈에서 반밀집 3D 맵을 투영한 것으로, 가우시안($\sigma = 0.8$ px)으로 평활화되어 투영된 엣지까지의 거리 함수를 근사합니다. 직접 VO의 광도 오차는 기하학적 엣지 정렬 오차로 대체되며, 역합성 Lucas-Kanade 방법으로 최소화됩니다:

$$\sum_{u} \bigl( M(\mathsf{W}(u;\Delta T)) - I(\mathsf{W}(u;T)) \bigr)^2, \qquad T \leftarrow T \cdot (\Delta T)^{-1},$$

3D 강체 워프 $\mathsf{W}(u;T) := \pi(T \cdot \pi^{-1}(u, d_u))$를 사용하며, 여기서 $d_u$는 픽셀 $u$에서 알려진 맵 깊이이고 포즈는 트위스트 $\xi \in \mathbb{R}^6$, $T = \exp(\hat{\xi}) \in SE(3)$로 매개변수화됩니다. 역합성 방식을 사용하면 $M$에 의존하는 도함수를 미리 계산하여 많은 이벤트 이미지에 걸쳐 재사용할 수 있습니다.

• 이벤트 이미지 구성: 이미지당 $N_e$개의 이벤트를 집계합니다($N_e \approx$ 맵 점 개수의 70%, 약 2000개 이벤트로, 1–3 Mevents/s에서 단 0.6–2 ms에 해당). 스트림에 대한 슬라이딩 윈도우가 포즈 출력 속도를 결정합니다. 추적은 무작위 픽셀 배치(300–500 픽셀, 최대 5 epoch)에 대한 확률적 그래디언트 하강을 사용합니다 — 연속된 이벤트 이미지 간의 차이가 서브픽셀 수준이므로 coarse-to-fine 피라미드가 필요하지 않습니다.
• EMVS를 통한 매핑: 이벤트를 광선으로 역투영하여 시차 공간 이미지(Disparity Space Image, DSI)를 만듭니다 — 이는 역깊이 상에서 균등하게 배치된 50개의 깊이 평면을 갖는, 키프레임을 중심으로 한 투영 복셀 그리드이며, 각 복셀은 통과하는 광선의 수를 셉니다. 광선 밀도의 국소 최대값이 3D 엣지를 나타냅니다: DSI는 깊이 + 신뢰도 맵으로 축소되고, 적응적으로 임계값이 적용되어 반밀집 깊이 맵이 되며, 필터링(15×15 median, 반경 기반 이상치 제거)을 거쳐 포인트 클라우드가 됩니다. 밝기도, 명시적 데이터 연관도 없습니다.
• 키프레임 생성과 상호작용: 마지막 키프레임까지의 거리를 평균 장면 깊이로 나눈 값이 약 15%를 초과하면 새 키프레임이 생성됩니다; DSI는 최근 200만 개 이벤트로부터 재계산되고 증분적으로 정제되며, 10만 개 이벤트마다 갱신된 포인트 클라우드가 추출되는 동안 추적은 이전 맵에서 계속됩니다. 부트스트래핑은 처음 $\tau$초 동안 정면 평행 평면 장면을 가정합니다.
• 선택적 밝기 복원: 선형화된 이벤트 생성 모델 $-\langle \nabla L, \dot{u}\Delta t \rangle = C$(대비 임계값 $C$에 도달하는 밝기 변화)와 포아송 재구성을 사용하여, EVO의 출력으로부터 HDR, 초해상도, 블러 없는 밝기 이미지를 만들어낼 수 있습니다 — 그러나 파이프라인 자체는 이를 전혀 필요로 하지 않습니다.

실험 결과

• DAVIS 센서(240×180 픽셀, 약 130 dB 동적 범위, 마이크로초 해상도)로부터의 데이터; 프레임은 시각화에만 사용됩니다. 실측값은 Optitrack 모션 캡처 시스템으로부터 얻습니다.
• 단일 키프레임, 격렬한 동작(최대 780°/s, 시퀀스 중간에 실내 조명을 켜고 끔): 35 m 궤적에서 평균 오차 2° 회전, 2 cm 이동 — 상대 위치 오차 0.057%.
• 다중 키프레임 궤적: 30 m에서 6 cm 이동 드리프트, 약 3° 회전 드리프트 — 상대 위치 오차 0.2% — 번들 조정이나 포즈 정제 없이 달성.
• 연산량: Intel Core i7-4810MQ @ 2.80 GHz에서 EVO는 초당 약 150만 이벤트를 처리하고 초당 500개 이상의 포즈를 계산합니다; 보통 속도에서는 실시간보다 1.25–3배 빠르게 동작하고, 고속 동작에서는 최악의 경우 실시간보다 2배 느립니다.
• 격렬한 동작과 움직이는 요소(보행자, 자전거)가 있는 번화한 거리에서의 정성적 야외 실험, 그리고 HDR 시퀀스 — 표준 카메라 VO가 실패하는 조건들입니다.

SLAM에서의 의미

EVO는 이벤트 기반 SLAM의 템플릿을 확립했습니다: 프론트엔드가 이벤트 기하학을 중심으로 재설계된다면 — 광도 오차 대신 엣지 정렬, 대응 관계 대신 광선 밀도 투표 — 고전적인 추적-매핑 분리 구조가 근본적으로 다른 센서로의 전환에서도 살아남을 수 있음을 보였습니다. 이후 거의 모든 이벤트 주행 거리 측정 시스템은 EVO를 기준으로 자신을 위치시킵니다: ESVO는 이 개념을 스테레오로 확장하여(단안의 척도 모호성을 해결) 나가고, Ultimate-SLAM은 모든 조건에서 강인성을 확보하기 위해 프레임과 IMU를 추가하며, DEVO 같은 학습 기반 시스템은 이를 고전적 기준선 계보로 삼습니다.

관련 문서

• ESVO
• EDS
• Ultimate-SLAM
• PTAM
• 이벤트 기반 비전 서베이