Ultimate-SLAM

Vidal 2018 · 논문

한 줄 요약 — Ultimate-SLAM은 이벤트, 표준 프레임, IMU를 하나의 키프레임 기반 비선형 최적화에 긴밀하게 융합하는 최초의 상태 추정 파이프라인으로, 세 센서의 상호 보완적인 강점을 활용하여 어느 한 모달리티라도 실패하는 HDR 및 고속 시나리오에서도 정확도를 유지합니다.

문제

단일 센서로는 전체 동작 범위를 다 다룰 수 없습니다. 표준 카메라는 대부분의 경우 — 저속, 조명이 좋은 시나리오에서 — 즉각적이고 풍부한 정보를 제공하지만 빠른 동작(동기식 노출로 인한 모션 블러)과 까다로운 조명(약 60 dB의 동적 범위 대 이벤트 카메라의 140 dB)에서는 심각하게 실패합니다. 이벤트 카메라는 모션 블러를 겪지 않고 매우 높은 동적 범위를 가지지만, 거의 정지 상태의 호버링처럼 동작이 제한적일 때는 정보를 거의 출력하지 않습니다. IMU는 고속 동역학을 제공하지만 시각적 보정 없이는 드리프트됩니다. 이전의 이벤트+프레임 시스템은 프레임 밝기를 이벤트를 정렬하기 위한 템플릿으로 사용했기 때문에 — 정확히 이벤트가 강점을 가지는 지점에서 실패했습니다. 이 연구 이전에는 세 모달리티를 모두 긴밀하게 융합한 파이프라인이 없었습니다.

방법 및 아키텍처

Rebecq 등(BMVC 2017)의 이벤트-관성 파이프라인을 기반으로, 표준 프레임을 병렬 시각 모달리티로 확장했습니다:

• 시공간 이벤트 윈도우: 시각 $t_k$의 각 표준 프레임에 대해 마지막 $N$개 이벤트의 윈도우 $W_k = \{e_{j(t_k)-N+1}, \dots, e_{j(t_k)}\}$가 선택됩니다(윈도우 지속 시간은 이벤트 속도에 자동으로 적응하며, 쿼드로터 실험에서는 $N = 20\,000$).
• 동작 보상 이벤트 프레임: 각 윈도우는 합성 이미지 $I_k(\mathbf{x}) = \sum_{e_i \in W_k} \delta(\mathbf{x} - \mathbf{x}'_i)$로 축소되며, 여기서 각 이벤트는 IMU로 적분된 증분 포즈와 장면 깊이를 사용하여 기준 카메라 프레임으로 워핑됩니다: $\mathbf{x}'_i = \pi_0(T_{t_k, t_i}(Z(\mathbf{x}_i)\,\pi_0^{-1}(\mathbf{x}_i)))$, 여기서 $\pi_0$는 이벤트 카메라 투영, $T_{t_l,t_m}$은 IMU 적분에서 나온 증분 변환, $Z(\mathbf{x}_i)$는 가시 랜드마크의 중앙값 깊이로 근사됩니다.
• 이중 특징 추적: FAST 코너가 동작 보상 이벤트 프레임과 표준 프레임 각각에서 독립적으로 검출되고 KLT로 추적되어(피라미드 2단계, $24\times24$ 패치, $32\times32$ 버킷팅 그리드) 두 개의 이질적인 트랙 집합 $\{\mathbf{z}^{0,j,k}\}$, $\{\mathbf{z}^{1,j,k}\}$을 생성합니다; 신뢰할 수 있는 트랙은 선형 삼각측량을 통해 지속적인 3D 랜드마크로 변환됩니다.
• 긴밀 결합 백엔드: 두 트랙 집합과 IMU 항이 모두 $M$개의 키프레임과 최근 $K$개 프레임의 슬라이딩 윈도우에 대한 하나의 결합 비용 함수로 들어가며, Ceres로 풀립니다:

$$J = \sum_{i=0}^{1}\sum_{k=1}^{K}\sum_{j\in\mathcal{J}(i,k)} {\mathbf{e}^{i,j,k}}^{T}\mathbf{W}_r^{i,j,k}\,\mathbf{e}^{i,j,k} + \sum_{k=1}^{K-1} {\mathbf{e}_s^{k}}^{T}\mathbf{W}_s^{k}\,\mathbf{e}_s^{k}$$

재투영 잔차 $\mathbf{e}_r^{i,j,k} = \mathbf{z}^{i,j,k} - \pi_i(\mathbf{T}_{C_i S}^{k}\mathbf{T}_{SW}^{k}\,\mathbf{l}^{i,j})$는 센서 인덱스 $i$(이벤트/표준 카메라), 프레임 $k$, 랜드마크 $j$에 걸쳐 있으며, 여기에 표준 IMU 운동학 및 바이어스 오차항 $\mathbf{e}_s$가 더해집니다. 명시적인 전환 정책은 없습니다 — 최적화가 현재 정보가 풍부한 모달리티를 자연스럽게 더 무겁게 가중합니다.

• 실용적 세부사항: 정적 초기화가 초기 피치/롤과 IMU 바이어스를 추정합니다; 이벤트 속도가 약 $10^3$ events/s 이하로 떨어질 때마다(이벤트가 거의 사라지는 거의 정지된 동작) 강한 제로 속도 사전 확률이 추가됩니다.

실험 결과

• Event Camera Dataset(DAVIS 240C: $240\times180$ 이벤트 배열 + 24 Hz 프레임 + 1 kHz IMU, 하드웨어 동기화)에서 평가하며, 회전만 있는 시퀀스와 IMU가 없는 시퀀스는 제외합니다; 궤적은 5초 구간에 대해 SE3 정렬되며, 오차는 이동 거리에 대한 비율(%)로 보고됩니다.
• Fr+E+I 대 동일 파이프라인의 단일 모달리티 변형: 평균 위치 정확도가 이벤트+IMU 대비 130%, 프레임+IMU 대비 85% 향상됩니다. 예시 평균 위치 오차(Fr+E+I / E+I / Fr+I): dynamic_6dof 0.19 / 0.38 / 0.62%, hdr_boxes 0.37 / 0.67 / 0.78%, shapes_6dof 0.10 / 0.48 / 0.17%.
• 최신 E+I(Rebecq 등 2017) 대비: 거의 모든 시퀀스에서 더 우수합니다. 예: poster_translation 0.12% 대 0.46%, shapes_6dof 0.10% 대 0.42%.
• 상태 추정에 이벤트 카메라를 사용한 최초의 자율 쿼드로터 비행, Odroid XU4(2.0 GHz 쿼드코어)에서 온보드로 실행: (i) 실내 조명을 켜고 끄는 동안의 비행(프레임은 완전히 암전되지만 이벤트는 추적을 유지함); (ii) 조명이 어두운 방에서 최대 1.68 m/s(약 340 pixels/s 광학 흐름)의 빠른 원형 비행으로, 프레임은 블러가 생기지만 이벤트 프레임은 선명하게 유지됨; (iii) 호버링으로, 이벤트 트랙은 소멸하지만 프레임 트랙이 드론을 드리프트 없이 유지함.

SLAM에서의 의미

Ultimate-SLAM은 이벤트 카메라 분야의 초기 전략적 질문 하나를 해결했습니다: 이벤트는 프레임과 IMU를 전면적으로 대체하는 것이 아니라 보완하는 것으로서 가장 강력하다는 것입니다 — 각 모달리티가 서로의 사각지대를 메우며, (픽셀이 아닌) 추정기 수준에서 융합하면 성능 저하가 완만해집니다. 이 논문의 긴밀 결합 이벤트+프레임+IMU 인자 그래프 정식화는 이후의 이벤트 VIO 연구(ESVIO, EDS 스타일 하이브리드)의 표준 템플릿이 되었으며, 쿼드로터 실험은 이벤트 센싱이 실제 로봇의 안전한 동작 범위를 확장한다는 것을 보인 획기적인 시연이었습니다.

관련 문서

• EVO
• ESVIO
• EDS
• VINS-Mono
• IMU 사전 통합
• 이벤트 카메라 (DVS)