Tightly-coupled vs Loosely-coupled

カメラとIMUを融合する際、最初のアーキテクチャ上の決定は融合がどこで行われるかである。

**疎結合（Loosely-coupled）**システムは、個別の推定器を実行する — カメラポーズを生成する視覚オドメトリパイプラインと、IMU観測を統合する慣性ナビゲーションパイプライン — その後、それらの出力（ポーズ、速度）を第二段階で、典型的にはカルマンフィルタを用いて融合する。各サブシステムは互いをブラックボックスとして扱う。

camera → [ VO pipeline ]  → pose estimate ─┐
                                           ├→ [ fusion filter ] → fused state
IMU    → [ INS integration ] → pose/vel  ──┘

**密結合（Tightly-coupled）**システムは、両センサの生の観測を単一の推定器に投入する：画像特徴観測（再投影残差）とIMU観測（プレインテグレーションされた慣性残差）が、ポーズ、速度、IMUバイアスを含む一つの共有状態上で同時に最適化される。現代のVIOシステムのほぼ全て — MSCKF、OKVIS、VINS-Mono、Kimera-VIO、Basalt — は密結合である。

結合状態の見た目

密結合のスライディングウィンドウ推定器は、各キーフレーム $i$ について

$\mathbf{x}_i = \left(\mathbf{R}_i,\; \mathbf{p}_i,\; \mathbf{v}_i,\; \mathbf{b}^g_i,\; \mathbf{b}^a_i\right)$

に加えてランドマークパラメータ（あるいは構造レスな等価物）を保持し、以下の形のコストを最小化する。

$\min_{\mathcal{X}} \; \|\mathbf{r}_p\|^2 \;+\; \sum_{(i,j)} \|\mathbf{r}_{\text{IMU}}(\mathbf{x}_i, \mathbf{x}_j)\|^2_{\Sigma^{-1}} \;+\; \sum_{k,i} \rho\!\left(\|\mathbf{r}_{\text{reproj}}(\mathbf{l}_k, \mathbf{x}_i)\|^2\right).$

両方のセンサモダリティが同じ解の中で同じ変数を制約する — これが密結合の定義である。疎結合の設計では代わりに、融合フィルタにポーズ観測 $\hat{\mathbf{T}}_i$ が与えられるが、その内部構造（どの方向がよく制約されていたか、どの特徴からそれが生成されたか）はすでに圧縮されて失われている。

比較

	疎結合	密結合
融合レベル	ポーズ/速度の推定値	生の観測
精度	低い（インターフェースで情報が失われる）	高い（センサ間の相関を活用）
複雑さ	低い；サブシステムの再利用が可能	高い；結合状態とヤコビアン
故障時の挙動	一つのサブシステムが独立に故障できる	視覚の外れ値が結合状態を汚染しうるが、IMUもビジョンを補助する（例：特徴予測）
バイアス推定	融合後のポーズのみからはIMUバイアスは観測不能	バイアスは結合的に推定され、ビジョンによって制約される
例	ポーズ融合EKF（例：ethzasl MSF系のフレームワーク）、古典的なGNSS/INS統合	MSCKF、OKVIS、VINS-Mono、Kimera-VIO、Basalt

なぜ密結合が精度で優れるのか

視覚情報と慣性情報の間の相関こそが、結合システムを強力にしている要因である。

ビジョンがバイアスドリフトを制約する. ジャイロと加速度計のバイアスは、IMUデータ単独からはわずかにしか観測できない；軌道に対する視覚的な制約がそれらを継続的に固定する。
IMUがスケール、ロール、ピッチを制約する. 加速度計は重力と真の加速度を検知するため、単眼のメトリックスケールが観測可能になり、絶対的な垂直方向の基準が得られる。
IMUがフロントエンドを補助する. フレーム間の統合された回転により、特徴が再び現れる位置を予測できるため、高速な動きやブラーの中でもKLT/記述子追跡が生き続ける。
不確実性が正確なまま保たれる. 疎結合のインターフェースではVOポーズに共分散を割り当てる必要があるが、退化した幾何（低パララックス、純粋な回転）では真の誤差分布は強く非等方であり過去の状態と相関している — これは圧縮されたポーズ推定値が伝えられない構造である。

その代償と、疎結合が正しい場合

密結合は、一貫した時刻同期（数ミリ秒のカメラ-IMUオフセットでも精度が低下する）、正確なカメラ-IMU外部キャリブレーション、注意深い初期化手順（重力、速度、バイアス、スケール）、および状態を有界にするためのマージナライズの仕組みを要求する。疎結合の設計は、モジュール性が最高精度よりも重要な場合に生き残る：既存のオドメトリソース（車輪オドメトリ、独自仕様のVOブラックボックス、GNSS/INS）を迅速に統合する場合、冗長/フェイルオーバーアーキテクチャを構築する場合、あるいはプロトタイピングの場合である。あるサブシステムの出力がすでにほぼ最適であり、その故障モードを封じ込めておく必要がある場合、疎結合は正当な、単に劣ったものではない工学的選択である。

よくある落とし穴

両方のセンサを使っているという理由だけでシステムを「密結合」と呼ぶこと — 判定基準は、両センサが存在するかどうかではなく、生の観測が一つの推定器を共有しているかどうかである。
VOのポーズストリームを積極的な融合フィルタで融合しながら、VO誤差の強い時間的相関（ドリフトは白色雑音ではない）を無視すること；これは融合された共分散を極端に楽観的なものにする。
密結合が良好なキャリブレーションの必要性を取り除くと想定すること — 実際には外部パラメータや時間オフセットの誤差に対する感度を高めるものであり、そのため現代のシステムは両方をオンラインで推定する。

SLAMにおける意義

この区別は、あらゆるVIO論文について最初に問うべき質問であり、同じ語彙は他のすべてのマルチセンサ融合の文脈（LiDAR-視覚-慣性、GNSS融合）にも繰り返し現れる。密結合が精度で優れる理由 — 保持されたセンサ間相関 — を理解することは、計算資源が許す限り分野が常に結合推定へ向かっていく理由も説明する。