LiDAR-Visual-Inertial (LVI)

LiDAR-Visual-Inertial（LVI）融合は、3つのセンサ——LiDAR点群、カメラ画像、IMU測定値——を1つの状態推定器に統合する。その動機は相補性であり、各モダリティが他のモダリティの故障モードを補う。

センサ	強み	典型的な故障モード
LiDAR	直接的な計量深度、長距離、照明不変	雨／霧／雪（ビーム散乱）、幾何学的に退化したシーン（長い廊下、開けた野原）
カメラ	密なテクスチャ、安価、場所認識のための豊富な見え方	暗所、露出過多、無地の壁、スケールの曖昧さ（単眼の場合）
IMU	高レートの運動予測、重力方向、どこでも動作	外部補正なしでは数秒でドリフト；バイアスの推定が必要

各センサが貢献するもの

IMUはVIOにおけると同じ役割を果たす。外界測定値の間で状態を高レートで伝播し、LiDARスイープのスキュー除去を行い（回転式スキャンでは各点が微妙に異なるポーズで取得される）、カメラまたはLiDARのどちらかの短時間の欠落を橋渡しする。LiDARはマップの計量スケールと幾何を固定し、カメラはテクスチャ、LiDAR退化幾何における追加の制約、そして見え方に基づくループ閉じ込みを加える。

アーキテクチャが何であれ、推定器は共有状態 $\mathbf{X}$ （ポーズ、速度、IMUバイアス）に対する1つの結合問題を解く。最適化の観点では、これは

\mathbf{X}^* = \arg\min_{\mathbf{X}} \; \sum \|\mathbf{r}^{\text{IMU}}\|^2_{\Sigma_I} + \sum \|\mathbf{r}^{\text{visual}}\|^2_{\Sigma_V} + \sum \|\mathbf{r}^{\text{LiDAR}}\|^2_{\Sigma_L} + \sum \|\mathbf{r}^{\text{loop}}\|^2_{\Sigma_{lp}},

であり、LiDAR残差は典型的には点対平面距離、視覚残差は再投影誤差（特徴ベース）または測光誤差（直接方式）である。フィルタの観点では、この和は誤差状態に対する反復カルマン更新に置き換わる。

2つの主流な設計系統

ファクタグラフ、特徴ベース — LVI-SAMは、VINS-Mono方式の視覚-慣性サブシステムとLIO-SAM方式のLiDAR-慣性サブシステムを共有ファクタグラフの中で結合する。両サブシステムは明示的に互いを助け合う。LiDAR-慣性側は視覚側に高速で信頼性の高い初期化とその特徴のための計量深度を渡し、視覚側はスキャンマッチングのための初期推定値を提供し、退化幾何においてLiDAR側を救済する。ループ閉じ込みは視覚的に見つけられ、幾何的に精緻化される。
フィルタベース、直接方式 — R3LIVEおよびFAST-LIVO／FAST-LIVO2は（誤差状態）反復カルマンフィルタを用いる。LiDARが生の点をレジストレーションすることで幾何マップを構築し、カメラはその同じマップに対する測光残差を貢献する——視覚特徴抽出は一切行わない。R3LIVEは視覚を主にマップの着色とテクスチャ化に用いる；FAST-LIVOは測光残差をポーズ推定にフィードバックする；FAST-LIVO2は逐次更新でLiDAR／画像の次元不一致に対処する。

すべてのLVI論文はこの設計空間内の1点であるため、有用な見取り図となる。

軸	選択肢
結合	密結合（生の残差が1つの推定器を共有）対疎結合（事後にポーズを融合）
推定器	フィルタ（ESIKF／iEKF）対平滑化（ファクタグラフ、スライディングウィンドウ）
視覚フロントエンド	特徴ベース（コーナー＋ディスクリプタ）対直接方式（測光）
マップ	モダリティごとの別々のマップ対単一の共有マップ

ロバスト性の契約

適切に設計されたLVIシステムは、あらゆる環境において少なくともその最良の単一モダリティサブシステムと同程度にロバストであるべきである。暗いトンネルではLiDAR-慣性オドメトリに退化し、幾何学的に退化した廊下では視覚-慣性オドメトリに退化し、良好な条件では結合推定値がどちらか単独よりも高精度になる。この契約は自動的には成立しない——明示的な劣化検出とフォールバックが必要であり（劣化対応のノートを参照）、そうでなければ故障したセンサが融合推定値を一緒に引き下げてしまう。

陥りやすい罠

キャリブレーションは今や三体問題である。 LiDAR-カメラおよびLiDAR-IMUの外部パラメータに加え、センサごとの時間オフセットもすべて残差に入り込む。ミリメートルおよびミリ秒単位の誤差は説明のつかないバイアスとして現れ、密結合システムは疎結合システムよりもよりこれに敏感である。
クロック同期。 3つの異なるクロック上の3つのセンサは、1つのタイムラインに揃えなければならない。ハードウェアトリガーまたは注意深いソフトウェア同期は前提条件であり、後付けの対応ではない。
融合が常に助けになるわけではない。 キャリブレーションが不十分であったり、劣化したセンサが検出されていない場合、三重融合の推定値は最良の単一モダリティシステムより悪化することがある——他の論文と比較するだけでなく、自身のサブシステムに対してベンチマークすべきである。
計算資源の配分。 LiDARレジストレーション、画像アライメント、高レートIMU伝播は同じオンボードCPUを奪い合う；直接方式／フィルタ系統が存在するのは、主に特徴パイプラインが小型プラットフォームに収まらなかったためである。

SLAMにおける意義

三重融合は、現在の屋外・大規模SLAMにおける最良の実践である——自律走行、ドローン点検、ハンドヘルドスキャンのスタックはほぼすべてLVI（多くはGNSSも併用）である。LVIの設計空間（密結合対疎結合、フィルタ対ファクタグラフ、特徴ベース対直接方式）を理解することで、事実上すべての現代的な融合論文を読めるようになる。それらはすべてこの空間の中の1点だからである。