Tightly-coupled LiDAR-camera

LiDAR-카메라 SLAM 시스템은 포인트 클라우드 등록 잔차와 시각적 잔차가 하나의 공유 상태에 대해 단일 비용 함수(또는 단일 필터 업데이트)에서 공동으로 최적화될 때 **긴밀 결합(tightly coupled)**됩니다. 반대로 각 모달리티가 자체 오도메트리를 독립적으로 실행하고 그 결과 포즈 추정값만 사후에 융합(예: 포즈 그래프나 단순 필터에서)되는 경우 **느슨한 결합(loosely coupled)**이라고 합니다.

공동 문제

긴밀 결합 최적화 백엔드에서, 상태 $\mathbf{X}$ (포즈, 속도, IMU 바이어스, 때로는 랜드마크)는 다음과 같은 이종 항들의 합을 최소화합니다:

\mathbf{X}^* = \arg\min_{\mathbf{X}} \; \sum \|\mathbf{r}^{\text{IMU}}\|^2_{\Sigma_I} + \sum \|\mathbf{r}^{\text{visual}}\|^2_{\Sigma_V} + \sum \|\mathbf{r}^{\text{LiDAR}}\|^2_{\Sigma_L} + \sum \|\mathbf{r}^{\text{loop}}\|^2_{\Sigma_{lp}}

여기서 LiDAR 잔차는 일반적으로 포인트-투-평면 또는 포인트-투-선 거리이고, 시각적 잔차는 재투영 오차 또는 광도계 오차입니다. LVI-SAM은 이를 GTSAM 기반 팩터 그래프로 구현합니다. 필터 기반의 대응물은 동일한 잔차를 반복 칼만 업데이트에 넣습니다: FAST-LIVO는 두 모달리티의 야코비안 $\mathbf{H} = [\mathbf{H}^{\text{LiDAR}}; \mathbf{H}^{\text{Visual}}]$ 을 하나의 업데이트로 쌓아 올리는 반면, FAST-LIVO2는 LiDAR 스캔과 이미지의 매우 다른 차원을 처리하기 위해 이를 하나의 반복 내에서 순차적으로 — 먼저 LiDAR, 그다음 중간 상태에 대해 시각 — 적용합니다.

이와 대조적으로, 느슨한 결합 설계는 LiDAR 오도메트리와 시각적 오도메트리를 독립적으로 실행하고 6자유도 포즈 출력만을 융합합니다. 이러한 압축이야말로 긴밀 결합이 회피하고자 하는 것입니다.

긴밀 결합 대 느슨한 결합 한눈에 보기

	긴밀 결합	느슨한 결합
융합되는 대상	원시 잔차 (포인트, 픽셀)	6자유도 포즈 추정값 (+ 공분산)
정보 보존	완전함 — 바이어스와의 상호 상관관계 유지	손실 있음 — 각 모달리티가 사전에 주변화됨
모달리티 간 상호 보조	공유 상태를 통해 자동으로 발생	수작업으로 설계된 인터페이스를 통해서만 발생
캘리브레이션 오차에 대한 민감도	높음 — 오차가 모든 잔차에 유입됨	낮음 — 서브시스템별로 흡수됨
장애 격리	기본적으로 취약함 — 이상치가 공동 상태를 오염시킴	양호함 — 실패한 오도메트리는 무시 가능
구현 노력	높음	낮음

왜 추가적인 복잡성을 감수해야 하는가

정보가 버려지지 않습니다. 느슨한 결합은 융합 전에 각 모달리티를 6자유도 포즈(및 공분산)로 압축합니다; 원시 측정값과 공유 상태(특히 IMU 바이어스) 사이의 상관관계가 손실됩니다.
모달리티 간 상호 보조가 자동으로 일어납니다. LiDAR 깊이는 시각적 특징을 직접 제약할 수 있고(LVI-SAM의 깊이 강화 특징처럼), 카메라는 LiDAR 기하가 퇴화되는 방향을 제약합니다.
우아한 성능 저하. 한 모달리티의 잔차가 정보성을 잃더라도, 다른 모달리티가 그 약한 방향을 관측하는 한 공동 문제는 여전히 잘 조건화(well-conditioned)됩니다.

흔한 함정

캘리브레이션 부채. LiDAR, 카메라, IMU 사이의 외부 파라미터와 시간 오프셋은 모든 잔차에 유입되며, 긴밀 결합 시스템은 캘리브레이션 오차를 곧바로 추정 바이어스로 변환하므로, 캘리브레이션 품질이 달성 가능한 정확도의 상한을 결정합니다.
이상치의 영향력. 한 모달리티의 잘못된 측정값은 자신의 서브시스템뿐 아니라 전체 상태를 끌어당깁니다 — 강인한 가중치와 명시적인 성능 저하 감지는 선택이 아니라 필수입니다.
사과와 오렌지를 저울질하기. 상대적 잡음 공분산 $\Sigma_L$ vs $\Sigma_V$ 가 어느 센서가 불일치를 “이기는지” 결정합니다; 미터 단위의 잔차와 강도 단위의 잔차는 자연스러운 공통 스케일이 없으며, 잘못 조정된 공분산은 추정값에 조용히 바이어스를 일으킵니다.
반복하거나 선형화 오차를 감내하라. LiDAR 잔차와 광도계 잔차 모두 포즈에 대해 비선형입니다; 단발성 업데이트는 빠른 움직임에서 성능이 저하되며, 이것이 강력한 시스템들이 반복적(iterated) 필터나 재선형화 스무더를 사용하는 이유입니다.

SLAM에서의 의미

VIO에서 익숙한 긴밀-느슨 구분은 LiDAR-카메라 융합에서 단연 가장 중요한 아키텍처 축입니다: 이는 시스템의 정확도 상한과 실패 거동을 대체로 결정합니다. 모든 주요 LVI 시스템(LVI-SAM, R3LIVE, FAST-LIVO2)이 긴밀 결합을 대표 기능으로 내세우며, 이들의 비용 함수를 읽어보는 것이 각 시스템이 실제로 무엇을 융합하는지 이해하는 가장 빠른 방법입니다.