LiDAR-Visual-Inertial (LVI)

LiDAR-Visual-Inertial (LVI) 융합은 세 가지 센서—LiDAR 포인트 클라우드, 카메라 이미지, IMU 측정값—를 하나의 상태 추정기로 결합한다. 그 동기는 상호 보완성이다: 각 모달리티는 다른 모달리티의 실패 모드를 보완한다.

센서	강점	일반적인 실패 모드
LiDAR	직접적인 메트릭 깊이, 장거리, 조명에 무관	비/안개/눈(빔 산란), 기하학적으로 퇴화된 장면(긴 복도, 개방된 들판)
카메라	밀집 텍스처, 저비용, 장소 인식을 위한 풍부한 외관	어둠, 과노출, 무질감 벽면, 스케일 모호성(단안)
IMU	고속 모션 예측, 중력 방향, 어디서나 작동	외부 수정 없이 수 초 내에 드리프트; 바이어스를 추정해야 함

각 센서가 기여하는 것

IMU는 VIO에서와 동일한 역할을 한다: 외부 감각 측정값 사이에서 상태를 고속으로 전파하고, LiDAR 스윕을 디스큐잉하며(회전 스캔의 각 포인트는 약간씩 다른 포즈에서 캡처된다), 카메라나 LiDAR 중 어느 하나의 짧은 단절을 이어준다. LiDAR는 맵의 메트릭 스케일과 기하를 고정하며; 카메라는 텍스처, LiDAR가 퇴화된 기하에서의 추가 제약, 외관 기반 루프 클로저를 추가한다.

아키텍처가 무엇이든, 추정기는 공유 상태 $\mathbf{X}$ (포즈, 속도, IMU 바이어스)에 대한 하나의 공동 문제를 푼다. 최적화 관점에서 이는

\mathbf{X}^* = \arg\min_{\mathbf{X}} \; \sum \|\mathbf{r}^{\text{IMU}}\|^2_{\Sigma_I} + \sum \|\mathbf{r}^{\text{visual}}\|^2_{\Sigma_V} + \sum \|\mathbf{r}^{\text{LiDAR}}\|^2_{\Sigma_L} + \sum \|\mathbf{r}^{\text{loop}}\|^2_{\Sigma_{lp}},

이며, LiDAR 잔차는 대개 포인트-투-평면 거리이고 시각 잔차는 재투영 오차(특징 기반) 또는 광도 오차(직접) 중 하나이다. 필터 관점은 합을 오차 상태에 대한 반복 칼만 업데이트로 대체한다.

두 가지 지배적인 설계 계열

팩터 그래프, 특징 기반 — LVI-SAM은 VINS-Mono 스타일의 시각-관성 서브시스템을 LIO-SAM 스타일의 LiDAR-관성 서브시스템과 공유 팩터 그래프에서 결합한다. 서브시스템들은 명시적으로 서로를 돕는다: LiDAR-관성 측은 시각 측에 빠르고 신뢰할 수 있는 초기화와 그 특징들에 대한 메트릭 깊이를 제공하고; 시각 측은 스캔 매칭을 위한 초기 추정값을 제공하며 퇴화된 기하에서 LiDAR 측을 구조한다. 루프 클로저는 시각적으로 찾아지고 기하학적으로 정밀화된다.
필터 기반, 직접 — R3LIVE와 FAST-LIVO/FAST-LIVO2는 (오차 상태) 반복 칼만 필터를 사용한다. LiDAR는 원시 포인트를 정합하여 기하학적 맵을 구축하고; 카메라는 그 동일한 맵에 대해 광도계 잔차를 기여한다—시각 특징 추출이 전혀 없다. R3LIVE는 주로 맵을 채색하고 텍스처링하기 위해 시각을 사용하며; FAST-LIVO는 광도계 잔차를 포즈 추정에 다시 공급한다; FAST-LIVO2는 순차적 업데이트로 LiDAR/이미지 차원 불일치를 처리한다.

모든 LVI 논문이 이 공간의 한 점이므로, 설계 공간을 파악하는 유용한 개념도이다:

축	선택지
결합	긴밀(원시 잔차가 하나의 추정기를 공유) vs 느슨(사후에 포즈를 융합)
추정기	필터(ESIKF/iEKF) vs 스무딩(팩터 그래프, 슬라이딩 윈도우)
시각 프론트엔드	특징 기반(코너 + 디스크립터) vs 직접(광도계)
맵	모달리티별 별도 맵 vs 하나의 공유 맵

강인성 계약

잘 설계된 LVI 시스템은 모든 환경에서 최소한 자신의 최선의 단일 모달리티 서브시스템만큼 강인해야 한다: 어두운 터널에서는 LiDAR-관성 오도메트리로 저하되고, 기하학적으로 퇴화된 복도에서는 시각-관성 오도메트리로 저하되며, 양호한 조건에서는 공동 추정값이 어느 쪽보다도 더 정확하다. 이 계약은 자동으로 이루어지지 않는다—명시적인 성능 저하 감지와 폴백이 필요하다(성능 저하 처리 노트 참조), 그렇지 않으면 실패하는 센서가 융합 추정값을 함께 끌어내린다.

흔한 함정

캘리브레이션이 이제 삼체 문제가 된다. LiDAR-카메라와 LiDAR-IMU 외부 파라미터, 그리고 센서별 시간 오프셋이 모두 잔차에 들어간다; 밀리미터 및 밀리초 수준의 오차가 설명되지 않는 편향으로 나타나며, 긴밀 결합 시스템은 느슨한 시스템보다 이에 더 민감하다.
클록 동기화. 세 개의 클록을 가진 세 개의 센서가 하나의 타임라인으로 맞춰져야 한다; 하드웨어 트리거링이나 신중한 소프트웨어 동기화는 부차적인 것이 아니라 전제조건이다.
융합이 항상 도움이 되는 것은 아니다. 캘리브레이션이 부실하거나 저하된 센서가 감지되지 않으면, 삼중 융합 추정값이 최선의 단일 모달리티 시스템보다 더 나빠질 수 있다—다른 논문뿐 아니라 자신의 서브시스템에 대해서도 벤치마크하라.
컴퓨팅 예산. LiDAR 정합, 이미지 정렬, 고속 IMU 전파가 동일한 온보드 CPU를 두고 경쟁한다; 직접/필터 계열이 존재하는 이유는 대체로 특징 파이프라인이 소형 플랫폼에 맞지 않았기 때문이다.

SLAM에서의 의미

삼중 융합은 강인한 실외 및 대규모 SLAM을 위한 현재의 모범 사례이다—자율 주행, 드론 검사, 핸드헬드 스캐닝 스택은 거의 모두 LVI이다(흔히 GNSS도 함께). LVI 설계 공간(긴밀 vs 느슨 결합, 필터 vs 팩터 그래프, 특징 vs 직접)을 이해하면 본질적으로 거의 모든 현대 융합 논문을 읽을 수 있는데, 이들 모두가 이 공간의 점들이기 때문이다.