Disparity vs Depth

整流されたステレオ画像対において、3D点は左画像と右画像に同じ行だが異なる列で投影される。2つの投影の間の水平方向のオフセットが視差（disparity） $d = u_L - u_R$ （画素単位）である。焦点距離 $f$ （画素）とステレオベースライン $B$ （メートル）に対して、視差と深度 $Z$ は次式で関係付けられる。

$d = \frac{f \cdot B}{Z} \quad\Longleftrightarrow\quad Z = \frac{f \cdot B}{d}.$

この関係は逆比例である：近い物体は大きな視差を持ち、遠い物体は小さな視差を持つ。

この式の由来

左カメラを原点に、右カメラを $(B, 0, 0)$ に置き、両方が同じ焦点距離 $f$ と主点 $c_x$ を持ち $+Z$ 方向を見ている（これはまさに整流が実現する状態である）とする。点 $(X, Y, Z)$ は次のように投影される。

$u_L = f\,\frac{X}{Z} + c_x, \qquad u_R = f\,\frac{X - B}{Z} + c_x,$

したがって行は一致し（ $v_L = v_R$ ）、列の差は

$d = u_L - u_R = f\,\frac{X - (X - B)}{Z} = \frac{fB}{Z}.$

となる。これはまた、ステレオSLAMシステムがキーポイントを三つ組 $(u_L, v_L, u_R)$ として保存できる理由でもある — ORB-SLAM2がそうしているように — そしてバンドル調整における第三の残差行として $u_R = f\,(X_c - B)/Z_c + c_x$ を用いることができる理由でもある：右画像の列はまさに深度観測そのものなのである。

$Z^2$ 則：深度の分解能は二次的に劣化する

$Z = fB/d$ を $d$ について微分すると

$\Delta Z \approx \frac{Z^2}{fB}\,\Delta d,$

が得られる。したがって、固定された視差マッチング誤差 $\Delta d$ （典型的には1画素の何分の1）は $Z^2$ で増大する深度誤差を生む：距離を2倍にすると深度の不確実性は4倍になる。 $f = 500$ px、 $B = 0.1$ m（したがって $fB = 50$ px·m）、マッチング精度 $\Delta d = 0.25$ pxとした具体例では、

深度 $Z$	視差 $d = fB/Z$	深度誤差 $\Delta Z$
2 m	25 px	0.02 m (1%)
10 m	5 px	0.5 m (5%)
20 m	2.5 px	2 m (10%)

20 mでは、このリグの「メトリック」深度は、腕の長さ程度の距離ではミリメートル級の精度であるのと同じ観測が、推測とほとんど変わらないものになる。

設計上の結果

ベースラインが使用可能な深度範囲を決める. より大きなベースライン $B$ は同じ深度に対して視差を増大させ、長距離での精度を改善する — しかし同時に測定可能な最小深度も増大させる（非常に近い点は両方の視野の外に出るか、視差の探索範囲を超えてしまう）し、視点間の見た目の変化が大きくなるためマッチングも難しくなる。小ベースラインのリグ（例えばドローン上での約10 cm）は近距離では精度が高く、長距離ではほぼ単眼に近くなる。
実用上の目安：ステレオの深度はおおよそベースラインの40倍程度まで信頼できる；それを超えると視差はマッチング精度以下に縮小し、点は単眼（方位のみ）の観測のように振る舞う。ORB-SLAM2やStereo DSOのようなステレオSLAMシステムは、このようなしきい値を用いて点を「近距離」（信頼できるメトリック深度）と「遠距離」（単眼のように時間をかけて三角測量される）に明示的に分割している。
サブピクセルマッチングが重要である. $\Delta d$ は深度誤差に線形に現れるため、サブピクセルの視差精緻化（放物線フィッティング、SGMのサブピクセル補間）は3D精度を直接改善する — これは利用可能な中で最も安価な深度精度向上策である。

推定器の中では逆深度を選ぶべき

視差は逆深度に対して線形であることに注意： $\rho = 1/Z$ とすると、

$d = fB\,\rho.$

したがって、画素レベルのマッチングノイズは $\rho$ においてはおおよそガウスノイズに写るが、 $Z$ においては歪んだ、重い尾を持つノイズに写る（ $d = 1$ pxにおける $\pm 0.25$ pxの誤差は、巨大で非対称な深度区間に及ぶ）。これがSLAMシステムが遠方の点を逆深度でパラメータ化する理由であり、また観測共分散は視差/逆深度空間でモデル化・伝播されるべきであって、メトリック深度でガウス分布であると仮定すべきではない理由である。

SLAMパイプラインでは、この変換は2箇所に現れる：キーポイントごとの視差を3Dランドマーク位置（あるいは逆深度パラメータ化）に変換する箇所と、バンドル調整においてステレオ観測をその深度依存の不確実性に応じて重み付けする箇所である。

よくある落とし穴

遠方のステレオ深度を信頼すること：10 cmのベースラインから得られる100 mの「深度」を、正確なメトリック観測であるかのように推定器に投入すると、地図に偏りが生じる；低視差の点は方位のみとして扱うべきである。
$Z$ においてガウスであるとするノイズモデル：一定の深度ノイズ（あるいは $Z$ においてガウスであるノイズ）を仮定すると、ステレオが最も弱いまさにその場所でフィルタ/BAが過信することになる。
ベースラインのキャリブレーション誤差： $B$ の誤差はすべての深度を同じ因子でスケールする — これはどれだけ平均を取っても除去できない大域的なスケールバイアスである。
最小深度を忘れること：視差探索範囲より近い点は静かにマッチングに失敗するため、近距離の限界は光学だけでなく探索ウィンドウによって決まる。

SLAMにおける意義

$d = fB/Z$ という幾何は、ステレオが実際に役立つかどうかを決定する：どのランドマークがメトリック情報を持つか、運用範囲に応じてリグのベースラインをどう設定すべきか、そして推定器において観測ノイズをどのようにモデル化するのが正しいかを教えてくれる。これを誤解すること（例えば10 cmのベースラインから100 mのステレオ深度を信頼すること）は、偏った地図や不整合な共分散の典型的な原因である。