긴밀 결합 vs 느슨한 결합

카메라와 IMU를 융합할 때 첫 번째 아키텍처 결정은 융합이 어디서 일어나는가입니다.

느슨한 결합(Loosely-coupled) 시스템은 별도의 추정기를 실행합니다 — 카메라 자세를 산출하는 시각적 오도메트리 파이프라인과 IMU 측정값을 적분하는 관성 항법 파이프라인 — 그리고 그 출력(자세, 속도)을 두 번째 단계에서, 보통 칼만 필터로 융합합니다. 각 서브시스템은 다른 쪽을 블랙박스로 취급합니다:

camera → [ VO pipeline ]  → pose estimate ─┐
                                           ├→ [ fusion filter ] → fused state
IMU    → [ INS integration ] → pose/vel  ──┘

긴밀 결합(Tightly-coupled) 시스템은 두 센서의 원시 측정값을 하나의 추정기에 넣습니다: 이미지 특징 관측(재투영 잔차)과 IMU 판독값(사전 적분된 관성 잔차)이 자세, 속도, IMU 바이어스를 포함하는 하나의 공유 상태에 대해 공동으로 최적화됩니다. 현대 VIO 시스템 거의 전부 — MSCKF, OKVIS, VINS-Mono, Kimera-VIO, Basalt — 가 긴밀 결합 방식입니다.

결합 상태는 어떤 모습인가

긴밀 결합 슬라이딩 윈도우 추정기는 각 키프레임 $i$에 대해

$$\mathbf{x}_i = \left(\mathbf{R}_i,\; \mathbf{p}_i,\; \mathbf{v}_i,\; \mathbf{b}^g_i,\; \mathbf{b}^a_i\right)$$

를 유지하고, 여기에 랜드마크 파라미터(또는 구조 없는 등가물)를 더해 다음 형태의 하나의 비용을 최소화합니다.

$$\min_{\mathcal{X}} \; \|\mathbf{r}_p\|^2 \;+\; \sum_{(i,j)} \|\mathbf{r}_{\text{IMU}}(\mathbf{x}_i, \mathbf{x}_j)\|^2_{\Sigma^{-1}} \;+\; \sum_{k,i} \rho\!\left(\|\mathbf{r}_{\text{reproj}}(\mathbf{l}_k, \mathbf{x}_i)\|^2\right).$$

두 센서 모달리티가 동일한 풀이 안에서 동일한 변수를 제약합니다 — 이것이 긴밀 결합의 정의입니다. 반면 느슨한 결합 설계는 융합 필터에게 자세 측정값 $\hat{\mathbf{T}}_i$를 건네는데, 그 내부 구조(어떤 방향이 잘 제약되었는지, 어떤 특징이 그것을 만들어냈는지)는 이미 압축되어 사라진 뒤입니다.

비교

긴밀 결합이 정확도에서 이기는 이유

시각 정보와 관성 정보 사이의 교차 상관이야말로 결합된 시스템을 강력하게 만드는 요소입니다:

• 비전이 바이어스 드리프트를 제약한다. 자이로와 가속도계 바이어스는 IMU 데이터만으로는 약하게만 관측 가능하다; 궤적에 대한 시각적 제약이 이를 지속적으로 붙잡아 둡니다.
• IMU가 스케일, 롤, 피치를 제약한다. 가속도계는 중력과 실제 가속도를 감지하여 단안 미터 스케일을 관측 가능하게 만들고 절대적인 수직 기준을 제공합니다.
• IMU가 프론트엔드를 돕는다. 프레임 사이의 적분된 회전은 특징이 다시 나타날 위치를 예측하여, 빠른 움직임과 블러 속에서도 KLT/디스크립터 추적을 살아있게 유지합니다.
• 불확실성이 정직하게 유지된다. 느슨한 결합 인터페이스는 VO 자세에 공분산을 부여해야 하는데, 퇴화된 기하(낮은 시차, 순수 회전)에서는 실제 오차 분포가 강하게 비등방적이며 과거 상태와 상관되어 있습니다 — 압축된 자세 추정값은 이러한 구조를 담아낼 수 없습니다.

대가, 그리고 느슨한 결합이 옳은 경우

긴밀 결합은 일관된 시간 동기화(단 몇 ms의 카메라-IMU 오프셋도 정확도를 저하시킴), 정확한 카메라-IMU 외부 캘리브레이션, 신중한 초기화 절차(중력, 속도, 바이어스, 스케일), 그리고 상태를 제한하기 위한 주변화 장치를 요구합니다. 느슨한 결합 설계는 최고 정확도보다 모듈성이 더 중요한 곳에서 살아남습니다: 기존 오도메트리 소스(휠 오도메트리, 독점적인 VO 블랙박스, GNSS/INS)를 빠르게 통합하거나, 중복/페일오버 아키텍처를 구축하거나, 프로토타이핑할 때입니다. 한 서브시스템의 출력이 이미 거의 최적이고 그 실패 모드를 국한시켜야 한다면, 느슨한 결합은 열등한 선택이 아니라 정당한 엔지니어링적 선택입니다.

흔한 함정

• 두 센서를 모두 사용한다는 이유로 시스템을 “긴밀 결합”이라 부르는 것 — 진짜 기준은 원시 측정값이 하나의 추정기를 공유하는지 여부이며, 두 센서가 존재하는지 여부가 아닙니다.
• VO 오차의 강한 시간적 상관(드리프트는 백색 잡음이 아니다)을 무시한 채 VO 자세 스트림을 공격적인 융합 필터로 융합하는 것; 이는 융합된 공분산을 지나치게 낙관적으로 만듭니다.
• 긴밀 결합이 좋은 캘리브레이션의 필요성을 없애준다고 가정하는 것 — 오히려 외부 파라미터와 시간 오프셋 오차에 대한 민감도를 증가시키며, 이것이 현대 시스템이 이 둘을 온라인으로 추정하는 이유입니다.

SLAM에서의 의미

이 구분은 어떤 VIO 논문에 대해서든 가장 먼저 던져야 할 질문이며, 동일한 어휘가 모든 다중 센서 융합 맥락(LiDAR-비전-관성, GNSS 융합)에서 다시 등장합니다. 긴밀 결합이 정확도에서 왜 이기는지 — 유지되는 센서 간 상관 — 를 이해하는 것은, 계산 자원이 허용되는 한 이 분야가 왜 일관되게 공동 추정으로 나아가는지도 설명해 줍니다.

관련 문서

• 필터 기반 vs 최적화 기반 — VIO 시스템을 분류하는 두 번째 핵심 축.
• MSCKF — 고전적인 긴밀 결합 필터.
• VINS-Mono — 고전적인 긴밀 결합 최적화기.
• IMU 사전 적분 — 긴밀 결합 최적화를 다룰 수 있게 만드는 도구.
• 긴밀 결합 LiDAR-카메라 — LiDAR 융합에 적용된 동일한 개념.
• 다중 센서 캘리브레이션 — 긴밀 결합이 의존하는 전제 조건.