스케일 관측성

단안 카메라는 오직 방향(bearing)(점을 향한 방향)만 측정하므로, 재구성된 세상의 절대 크기는 관측 불가능하다: 전체 장면과 모든 이동을 어떤 배율로 스케일링해도 정확히 동일한 이미지가 생성된다. 스테레오는 이 모호성을 구조적으로 제거한다. 두 카메라 사이의 알려진, 캘리브레이션된 기선 $B$ 는 모든 스테레오 측정 내부에 놓인 물리적 길이다: $Z = fB/d$ 를 통해 매칭된 각 키포인트는 미터 단위의 깊이를 산출한다. 미터 단위 스케일은 단 하나의 스테레오 프레임으로부터, 움직임도 IMU도 장면 가정도 없이 관측 가능하다.

단안 스케일이 관측 불가능한 이유

임의의 단안 재구성 $\{\mathbf{X}_j, (\mathbf{R}_i, \mathbf{t}_i)\}$ 을 취해 $s > 0$ 로 스케일링해보자: 점은 $s\mathbf{X}_j$ 가 되고, 이동은 $s\mathbf{t}_i$ 가 된다(회전은 변하지 않음). 핀홀 투영이 동차 좌표의 스케일링에 대해 불변이기 때문에, 모든 투영은 그대로다:

$\pi\!\left(\mathbf{K}(\mathbf{R}_i\, s\mathbf{X}_j + s\mathbf{t}_i)\right) = \pi\!\left(s\,\mathbf{K}(\mathbf{R}_i \mathbf{X}_j + \mathbf{t}_i)\right) = \pi\!\left(\mathbf{K}(\mathbf{R}_i \mathbf{X}_j + \mathbf{t}_i)\right).$

측정 우도는 모든 $s$ 에 대해 동일하다 — 아무리 많은 단안 데이터로도 천천히 이동한 작은 세계와 빠르게 이동한 큰 세계를 구별할 수 없다. 스케일은 전역 위치와 방향의 선택과 마찬가지로 게이지 자유도다.

스케일을 관측 가능하게 만드는 것

측정값이 어떤 방식으로든 미터 단위를 가지는 순간 스케일은 관측 가능해진다:

스테레오 기선 — 매 프레임의 측정 내부에 있는 캘리브레이션된 물리적 길이(이 문서의 주제).
IMU 가속도계 — 미터 단위의 비력(specific force)을 측정한다. 이를 적분하면 미터 단위 변위가 예측되므로, 이를 (스케일까지만 알려진) 시각적 변위와 비교하면 스케일이 드러난다. 그러나 이는 가속 자극이 필요하다: 등속 또는 정지(호버링) 상태에서는 가속도계가 중력만 보게 되어 스케일은 다시 약하게 관측 가능해진다.
깊이 카메라 / LiDAR — 직접적인 미터 단위 거리 측정.
휠 오도메트리 — 포즈 간 미터 단위 이동.
장면 사전 정보 — 알려진 물체 크기, 지면 위의 알려진 카메라 높이(자율주행에서 흔함), 알려진 치수의 표적 마커.

SLAM 추정기에 대한 결과

즉각적인 초기화. 스테레오 SLAM 시스템은 최초 프레임부터 미터 단위 로컬 맵을 구축할 수 있지만, 단안 SLAM은 이동 움직임이 필요하며 그럼에도 스케일까지만 알려진 구조만 복원한다(그리고 단안 VIO는 스케일이 수렴하기 전에 충분한 IMU 자극이 필요하다 — VI-DSO는 임의의 값으로 시작해서 나중에 수렴할 수 있도록 스케일을 명시적 최적화 변수로 유지하기까지 한다).
스케일 드리프트 없음. 단안 오도메트리는 시간이 지남에 따라 스케일 오차를 누적한다(스케일 드리프트). 이는 포즈 그래프 방법이 $\mathrm{Sim}(3)$ (7자유도) 루프 클로저로 수정해야 한다. 스테레오는 매 키프레임에서 스케일을 제약하므로, 루프 클로저는 통상적인 $\mathrm{SE}(3)$ (6자유도) 정합으로 축소된다.
VIO에서 관측 불가능한 방향이 더 적다. 단안 VIO에서는 스케일이 오직 IMU 가속을 통해서만 관측 가능해진다. 네 방향(전역 위치 + 요)은 관측 불가능한 상태로 남는다. 스테레오 VIO는 스케일을 기선에서 직접 얻으므로, 단안 VIO의 스케일이 약하게 관측 가능한 저자극 운동 구간(호버링, 등속)에서도 추정기가 잘 조건화된 상태를 유지한다.
주의점 — 스케일은 기하 조건만큼만 좋다. 미터 정보는 거리에 따라 감쇄한다( $\Delta Z \propto Z^2$ ). 그래서 기선을 훨씨 넘어서는 거리에서는 시스템이 단안적인 거동으로 점진적으로 저하된다. 기선 캘리브레이션 오차 또한 전역 스케일 편향으로 직접 이어진다.

흔한 함정

“IMU = 항상 스케일”이라는 가정: 호버링 중인 드론이나 등속으로 순항하는 자동차는 가속 자극을 거의 제공하지 않는다. 바로 이런 흔한 운동 체제에서 단안 VIO 스케일은 표류하거나 느리게 수렴할 수 있다.
원거리 스테레오는 곧 단안이다: 고속도로에서는 장면의 대부분이 루프 지붕에 장착된 리그의 신뢰 가능한 범위를 넘어설 수 있다. 추정기는 그런 점들을 미터 단위 앵커로 취급해서는 안 된다.
캘리브레이션되지 않은 기선 변화: 열팽창이나 기계적 휨은 $B$ 를 변화시킨다. $B$ 가 모든 깊이에 곱해지므로, 이는 루프 클로저만으로는 설명할 수 없는 느리고 전역적인 스케일 변화로 나타난다.

유용한 사고방식: 단안 SLAM은 세계를 “첫 이동의 단위”로 추정하는 반면, 스테레오 SLAM은 자(기선)가 로봇에 볼트로 고정되어 있기 때문에 미터 단위로 세계를 추정한다.

SLAM에서의 의미

로봇은 미터 단위로 계획, 제어, 장애물 회피를 수행하므로, 미터 단위 스케일은 내비게이션에서 타협할 수 없는 요소다. 어떤 센서 구성이 스케일을 관측 가능하게 만드는지 — 스테레오 기선, IMU 가속, 깊이 카메라, 휠 오도메트리 — 이해하면, 왜 자율주행차가 넓은 기선 스테레오를 쓰는지, 왜 AR 헤드셋이 카메라와 IMU를 짝짓는지 등 많은 시스템 설계 선택을 설명할 수 있다.