直接LiDAR-カメラアライメント（Direct LiDAR-camera alignment）

**直接（Direct）**手法は、疎な特徴を先に抽出することなく、センサデータをマップに対して直接位置合わせする。LiDAR-カメラ融合に適用すると、これは同じマップ上で2つのことが同時に起きることを意味する。

直接LiDARレジストレーション：生のスキャン点は、LOAMのようなエッジ／平面特徴抽出を行わず、点対平面（あるいは点対暗黙的表面）残差でマップに対して位置合わせされる。FAST-LIO2はこれがより高速かつ高精度であることを示し、任意のスキャンパターン（回転式でもソリッドステートLiDARでも）に自動的に適応する。
直接視覚アライメント：コーナー（ORB、FAST）を検出・マッチングする代わりに、現在の画像とマップに保存された見え方との測光誤差を最小化することでカメラのポーズを推定する。

中核となる残差

FAST-LIVOでは、各LiDARマップ点 $\mathbf{p}_i$ が最初に観測された時点の小さな画像パッチ $P_i$ を保持しており、新しいフレームは次式を最小化することで位置合わせされる。

r_i = \sum_{\mathbf{u} \in \Omega} \Big( I_{\text{cur}}\big(\pi(\mathbf{T}\,\mathbf{p}_i) + \mathbf{u}\big) - P_i(\mathbf{u}) \Big)^2

パッチ近傍 $\Omega$ （例えば各辺数画素）にわたって計算される。LiDARがこれらのアンカー点に正確な3次元位置を提供するため、視覚モジュールは三角測量も深度の曖昧さもなしに、位置の確定した密なランドマーク群を無償で手に入れる。R3LIVEも最も洗練された形で同じ原理を用いている。マップ点は色 $C_i$ を保持し、VIOは $\sum_i (I(\pi(\mathbf{T}^{-1}\mathbf{P}_i)) - C_i)^2$ を最小化してフレームを位置合わせし、その後マップのテクスチャを更新する。

推定器への取り込み方

これらの残差を密結合フィルタへ供給する方式には2つのパターンがある。

スタック型更新（FAST-LIVO）：LiDARの点対平面ヤコビアンと視覚の測光ヤコビアンを連結し、 $\mathbf{H} = [\mathbf{H}^{\text{LiDAR}}; \mathbf{H}^{\text{Visual}}]$ として1回の反復カルマン更新で適用する。
逐次型更新（FAST-LIVO2）：同じESIKFの反復内で、まずLiDAR更新を適用し、視覚更新は中間状態に対して実行される—— $\hat{\mathbf{x}}_1 = \hat{\mathbf{x}}_0 \oplus \mathbf{K}_L \mathbf{r}_L(\hat{\mathbf{x}}_0)$ 、続いて $\hat{\mathbf{x}}_2 = \hat{\mathbf{x}}_1 \oplus \mathbf{K}_V \mathbf{r}_V(\hat{\mathbf{x}}_1)$ ——これにより数千のLiDAR残差と画像測定値との次元不一致を回避できる。

アライメントの整合性を保つには、見え方側の維持作業も必要になる。新しい視点が到着するたびに参照パッチを更新し（FAST-LIVO2は動的に行い、R3LIVEは色を時間的にブレンドする）、深度エッジ上や現在視点から遮蔽されている不安定な点を除外し（FAST-LIVOの外れ値除去機構）、LiDARの平面事前情報でパッチアライメント自体を制約することもできる（FAST-LIVO2）。

なぜ直接手法を選ぶのか

その魅力は3点ある。第一に低レイテンシ：特徴抽出とディスクリプタマッチングを省くことで、フレームあたりの相当なコストが削減される。第二に低テクスチャシーンでのロバスト性：測光アライメントはコーナー検出器が何も見つけられない弱い勾配を活用できる。第三にアーキテクチャの単純さ：一貫性を保つ必要のある別々の視覚マップとLiDARマップの代わりに、単一の共有マップ（ikd-Treeやボクセルマップ）が両モダリティに使える。

陥りやすい罠

収束域が狭い。 測光誤差は非常に非凸であり、真のポーズ近傍でのみ位置合わせが成功する。直接LVIシステムがこれを乗り越えられるのは、IMUの伝播とLiDARレジストレーションが視覚モジュールに優れた初期推定値を与えるためである。この事前情報を取り除くと手法は破綻する。
輝度不変性の仮定は嘘である。 自動露出、周辺減光、カメラの非線形応答特性により、同じ表面がフレーム間で強度を変化させる。これがFAST-LIVO2がオンラインで露出時間を推定し、R3LIVE++が応答関数と周辺減光を較正して生のRGBではなく放射輝度を再構成する理由である。
エッジ点と遮蔽点。 深度の不連続点に固定されたパッチは前景と背景の見え方を混合してしまう。そうした点はフィルタリングしなければ、系統的にアライメントに偏りを生む。
古くなった見え方。 以前に異なる照明条件下で取得されたパッチは、参照パッチを更新しない限り徐々に残差を汚染していく——しかし更新を急ぎすぎると、ドリフトがマップの見え方に漏れ込んでしまう。

SLAMにおける意義

直接LiDAR-カメラアライメントは、現在最強のオープンソースLVIオドメトリシステム（FAST-LIVO、FAST-LIVO2）と、RGBマッピングのR3LIVE系列を支える設計である。これは直接視覚オドメトリの伝統（DTAM、LSD-SLAM、DSO）のLiDAR時代への継承と言える。深度がもはやボトルネックでなくなれば（LiDARがそれを測定する）、測光アライメントは状態推定器に視覚情報を加える極めて安価で効果的な手段となる。