スケール可観測性

単眼カメラは方位(点への方向)のみを計測するため、再構成された世界の絶対的な大きさは可観測ではない。シーン全体とすべての並進を任意の係数でスケーリングしても、まったく同じ画像が得られる。ステレオはこの不定性を構造的に取り除く。2台のカメラ間の既知の、キャリブレーション済みのベースライン $B$ は、すべてのステレオ計測の内部に置かれた物理的な長さである。 $Z = fB/d$ を通じて、マッチしたキーポイントごとにメートル単位の深度が得られる。メトリックスケールは単一のステレオフレームから可観測であり、動きも、IMUも、シーンの仮定も必要としない。

なぜ単眼のスケールは可観測でないのか

任意の単眼再構成 $\{\mathbf{X}_j, (\mathbf{R}_i, \mathbf{t}_i)\}$ を取り、これを $s > 0$ でスケーリングすると、点は $s\mathbf{X}_j$ に、並進は $s\mathbf{t}_i$ になる(回転は変化しない)。すべての射影は変わらない。なぜなら、ピンホール射影は同次座標のスケーリングに対して不変だからである。

$\pi\!\left(\mathbf{K}(\mathbf{R}_i\, s\mathbf{X}_j + s\mathbf{t}_i)\right) = \pi\!\left(s\,\mathbf{K}(\mathbf{R}_i \mathbf{X}_j + \mathbf{t}_i)\right) = \pi\!\left(\mathbf{K}(\mathbf{R}_i \mathbf{X}_j + \mathbf{t}_i)\right).$

計測の尤度は任意の $s$ に対して同一である — 単眼データがどれだけあっても、ゆっくり移動する小さな世界と速く移動する大きな世界を区別することはできない。スケールは、グローバルな位置と姿勢の選択とまったく同様に、ゲージの自由度である。

何がスケールを可観測にするのか

計測がひとつでもメートル単位の情報を持てば、その瞬間からスケールは可観測になる。

ステレオベースライン — すべてのフレームの計測の内部にキャリブレーション済みの物理的長さが存在する(本ページのトピック)。
IMU加速度計 — メートル単位の比力(specific force)を計測する。これを積分するとメートル単位の変位が予測でき、これを視覚による(スケール不定の)変位と比較することでスケールが明らかになる。ただしこれには加速度による励起が必要である。等速運動またはホバリング時には、加速度計は重力しか見ないため、スケールは再び弱くしか可観測でなくなる。
深度カメラ/LiDAR — 直接的なメートル単位の距離計測。
車輪オドメトリ — 位置間のメートル単位の並進。
シーンの事前情報 — 既知の物体サイズ、地面からの既知のカメラ高さ(自動運転で一般的)、既知の寸法を持つ標識マーカー。

SLAM推定器への影響

即時初期化。 ステレオSLAMシステムは最初のフレームからメトリックなローカルマップを構築できるが、単眼SLAMは並進運動を必要とし、それでも構造はスケール不定にしか復元できない(さらに単眼VIOはスケールが収束するまで十分なIMU励起を必要とする — VI-DSOはスケールを明示的な最適化変数として保持し、任意の初期値から始めて後に収束させることさえしている)。
スケールドリフトがない。 単眼オドメトリは時間とともにスケール誤差を蓄積する(スケールドリフト)。これはポーズグラフ手法では $\mathrm{Sim}(3)$ (7自由度)のループクロージングで補正しなければならない。ステレオはすべてのキーフレームでスケールを制約するため、ループクロージングは通常の $\mathrm{SE}(3)$ (6自由度)アラインメントに帰着する。
VIOにおける不可観測方向の減少。 単眼VIOでは、スケールはIMU加速度を通じてのみ可観測になり、4つの方向(グローバル位置とヨー)は不可観測のままである。ステレオVIOはベースラインから直接スケールを得るため、低励起の運動(ホバリング、等速運動)においても推定器を良好な条件に保つことができる。この状況下では単眼VIOのスケールは弱くしか可観測でない。
注意点 — スケールは幾何の質に依存する。 メートル情報は距離とともに減衰する( $\Delta Z \propto Z^2$ )ため、ベースラインを大幅に超える距離では、システムは緩やかに単眼的な振る舞いへと退化する。ベースラインのキャリブレーション誤差も、そのままグローバルなスケールバイアスに転化する。

よくある落とし穴

「IMU = 常にスケール」という思い込み: ホバリング中のドローンや一定速度で走行する自動車は、加速度による励起をほとんど生じない。まさにこうした一般的な運動条件下で、単眼VIOのスケールはドリフトしたり、収束が遅くなったりする。
遠方でのステレオは単眼と同じ: 高速道路では、シーンの大部分は屋根搭載リグの信頼できる測距範囲を超えている。推定器はそれらの点をメトリックな基準として数えるべきではない。
キャリブレーションされていないベースラインの変化: 熱膨張や機械的なたわみが $B$ を変化させる。 $B$ はすべての深度に乗じられるため、これはループクロージングだけでは説明できない緩やかで大域的なスケール変化として現れる。

有用な考え方: 単眼SLAMは世界を「最初の並進の単位」で推定する。一方ステレオSLAMは、物差し(ベースライン)がロボットにボルト留めされているため、メートル単位で世界を推定する。

SLAMにおける意義

ロボットはメートル単位で計画・制御し、障害物を回避するため、メトリックスケールはナビゲーションにおいて譲れない要件である。どのセンサー構成がスケールを可観測にするか(ステレオベースライン、IMU加速度、深度カメラ、車輪オドメトリ)を理解することは、なぜ自動運転車が広ベースラインのステレオを使うのか、なぜARヘッドセットがカメラとIMUを組み合わせるのかなど、多くのシステム設計上の選択を説明する。