시차 대 깊이

정류된 스테레오 쌍에서, 3D 점은 왼쪽과 오른쪽 이미지에 같은 행이지만 다른 열로 투영됩니다. 두 투영 사이의 수평 오프셋이 시차 $d = u_L - u_R$ 입니다(픽셀 단위). 초점 거리 $f$ (픽셀)와 스테레오 기선 $B$ (미터)에 대해, 시차와 깊이 $Z$ 는 다음 관계를 가집니다.

$d = \frac{f \cdot B}{Z} \quad\Longleftrightarrow\quad Z = \frac{f \cdot B}{d}.$

이 관계는 반비례입니다: 가까운 물체는 시차가 크고, 먼 물체는 시차가 작습니다.

이 수식은 어디서 나오는가

왼쪽 카메라를 원점에, 오른쪽 카메라를 $(B, 0, 0)$ 에 두고, 둘 다 동일한 초점 거리 $f$ 와 주점 $c_x$ 로 $+Z$ 방향을 바라본다고 합시다(이는 정확히 정류가 만들어내는 상황입니다). 점 $(X, Y, Z)$ 는 다음으로 투영됩니다.

$u_L = f\,\frac{X}{Z} + c_x, \qquad u_R = f\,\frac{X - B}{Z} + c_x,$

그래서 행은 일치하고( $v_L = v_R$ ), 열의 차이는

$d = u_L - u_R = f\,\frac{X - (X - B)}{Z} = \frac{fB}{Z}.$

이것이 바로 ORB-SLAM2처럼 스테레오 SLAM 시스템이 키포인트를 삼중값 $(u_L, v_L, u_R)$ 로 저장하고, $u_R = f\,(X_c - B)/Z_c + c_x$ 를 번들 조정의 세 번째 잔차 행으로 사용할 수 있는 이유입니다: 오른쪽 이미지의 열이 곧 깊이 측정값입니다.

$Z^2$ 법칙: 깊이 해상도는 제곱으로 저하된다

$Z = fB/d$ 를 $d$ 에 대해 미분하면

$\Delta Z \approx \frac{Z^2}{fB}\,\Delta d,$

를 얻으므로, 고정된 시차 매칭 오차 $\Delta d$ (보통 1픽셀의 몇 분의 1)는 $Z^2$ 에 비례하여 커지는 깊이 오차를 만듭니다: 거리가 두 배가 되면 깊이 불확실성은 네 배가 됩니다. $f = 500$ px, $B = 0.1$ m(따라서 $fB = 50$ px·m), 매칭 정밀도 $\Delta d = 0.25$ px인 예제:

깊이 $Z$	시차 $d = fB/Z$	깊이 오차 $\Delta Z$
2 m	25 px	0.02 m (1%)
10 m	5 px	0.5 m (5%)
20 m	2.5 px	2 m (10%)

20 m에서는 이 리그의 “미터” 깊이가 거의 추측에 가깝습니다 — 같은 측정 장치가 팔 길이 정도의 거리에서는 밀리미터급 정밀도를 가짐에도 그렇습니다.

설계상의 결과

기선이 사용 가능한 깊이 범위를 결정한다. 기선 $B$ 가 클수록 같은 깊이에서 시차가 커져 장거리 정확도가 향상되지만 — 최소 측정 가능 깊이도 함께 늘어나며(매우 가까운 점은 두 시야각 모두를 벗어나거나 시차 탐색 범위를 초과함), 두 시점 사이의 외관 변화가 커져 매칭도 더 어려워집니다. 작은 기선을 가진 리그(예: 드론의 ~10 cm)는 근거리에서 정확하지만 장거리에서는 거의 단안에 가깝습니다.
실용적인 어림 법칙: 스테레오 깊이는 대략 기선의 40배 거리까지 신뢰할 수 있습니다; 그 이상에서는 시차가 매칭 정밀도보다 작아져 점들이 단안(방향 전용) 관측처럼 거동합니다. ORB-SLAM2와 Stereo DSO 같은 스테레오 SLAM 시스템은 이러한 임계값을 사용하여 점을 “근거리”(신뢰할 수 있는 미터 깊이)와 “원거리”(단안처럼 시간에 걸쳐 삼각측량됨)로 명시적으로 구분합니다.
서브픽셀 매칭이 중요하다. $\Delta d$ 가 깊이 오차에 선형적으로 나타나므로, 서브픽셀 시차 정제(포물선 피팅, SGM 서브픽셀 보간)는 3D 정확도를 직접적으로 개선합니다 — 이는 가장 값싸게 얻을 수 있는 깊이 정확도 향상입니다.

추정기 안에서는 역깊이를 선호하라

시차는 역깊이에 선형이라는 점에 주목하세요: $\rho = 1/Z$ 일 때,

$d = fB\,\rho.$

따라서 픽셀 수준의 매칭 잡음은 $\rho$ 에서는 거의 가우시안 잡음으로 나타나지만, $Z$ 에서는 왜곡되고 두꺼운 꼬리를 가진 잡음으로 나타납니다( $d = 1$ px에서 $\pm 0.25$ px 오차는 거대하고 비대칭적인 깊이 구간에 걸칩니다). 이것이 SLAM 시스템이 먼 점을 역깊이로 파라미터화하는 이유이며, 측정 공분산을 미터 깊이에서 가우시안이라고 가정하지 말고 시차/역깊이 공간에서 모델링하여 전파해야 하는 이유입니다.

SLAM 파이프라인에서 이 변환은 두 곳에서 나타납니다: 키포인트별 시차를 3D 랜드마크 위치(또는 역깊이 파라미터화)로 바꾸는 곳, 그리고 번들 조정에서 깊이에 따라 달라지는 불확실성에 맞춰 스테레오 관측에 가중치를 부여하는 곳입니다.

흔한 함정

먼 거리의 스테레오 깊이를 신뢰하기: 10 cm 기선에서 얻은 100 m “깊이”를 정확한 미터 측정값처럼 추정기에 넣으면 맵이 편향됩니다; 시차가 낮은 점은 방향 전용으로 취급하세요.
$Z$ 에서 가우시안인 잡음 모델: 일정한 깊이 잡음(또는 $Z$ 에서의 가우시안 잡음)을 가정하면 스테레오가 가장 약한 지점에서 필터/BA가 정확히 과신하게 됩니다.
기선 캘리브레이션 오차: $B$ 의 오차는 모든 깊이를 같은 배율로 스케일링합니다 — 어떤 평균화로도 제거되지 않는 전역 스케일 편향입니다.
최소 깊이를 잊어버리기: 시차 탐색 범위보다 가까운 점은 조용히 매칭에 실패하므로, 근거리 한계는 광학만이 아니라 탐색 윈도우에 의해서도 정해집니다.

SLAM에서의 의미

$d = fB/Z$ 라는 기하는 스테레오가 실제로 도움이 되는지를 결정합니다: 어떤 랜드마크가 미터 정보를 담고 있는지, 운용 범위에 맞춰 리그의 기선을 어떻게 설정해야 하는지, 그리고 추정기에서 측정 잡음을 어떻게 올바르게 모델링해야 하는지를 알려줍니다. 이를 잘못 이해하면(예: 10 cm 기선에서 100 m 거리의 스테레오 깊이를 신뢰하는 것) 편향된 맵과 비일관적인 공분산의 전형적인 원인이 됩니다.