FAST-LIVO2
Zheng 2024 · 論文
一行要約 — FAST-LIVO2は、異種であるLiDARと画像測定値の間の次元不一致を解決する逐次更新を伴う誤差状態反復カルマンフィルタによってIMU、LiDAR、カメラを融合し、オンボード計算資源上での直接LVIオドメトリの基準を打ち立てた。
問題
LiDARスキャンは1回の更新で数千の低次元幾何残差を提供するのに対し、カメラフレームはまったく異なる構造の測光残差を提供する——両方を1つのカルマンステップで同時に更新するのは扱いにくく、FAST-LIVOの簡略化(アフィンワープのためのパッチごとの一定深度仮定、露出処理なし、LiDAR点が欠損した際のフォールバックなし)は精度とロバスト性を犠牲にしていた。FAST-LIVO2は、リアルタイムかつ完全オンボードのロボット用途に十分な厳密性と効率性を持つよう融合を再設計する。
手法とアーキテクチャ
19次元多様体 上の状態: で、 は逆カメラ露出時間(最初のフレームに対する相対値、可観測性のため に固定)であり、ランダムウォークとしてモデル化される。スキャンの再結合により、LiDARストリームはカメラのサンプリング時刻でスキャンに再分割され、両センサが同じ10 Hzで更新される。
- 逐次ESIKF更新:事後分布を
と因数分解し、フィルタはまずIMUで伝播された事前分布に対してLiDAR更新を反復し、続いてLiDAR収束後の状態と共分散に対して視覚更新を行う——2つの雑音が独立であれば理論的には結合更新と等価だが、各モジュールは自身の反復と構造を保持する。各ステップは標準的な反復カルマンゲイン を用いる。
- LiDAR測定モデル:生の(時間的に1:3にダウンサンプリングされた)点は、ハッシュインデックス付きボクセルマップ(ルートボクセル0.5 m、3層オクトリー)に格納された平面に対して点対平面残差 を持ち、レンジング、方位、さらにレーザービームの発散をモデル化した雑音を用いる——雑音は平面への入射角が大きくなるほど増大する。
- 視覚測定モデル(疎な直接方式、1段フレーム対マップ):各視覚マップ点はパッチピラミッドを伴うLiDAR点であり、残差は現在フレームと参照フレーム間の露出正規化されたパッチを比較する。
ここで は、FAST-LIVOの一定深度仮定の代わりにLiDAR平面事前情報(法線は任意でマルチパッチ測光最適化により精緻化される)から計算されたアフィンワープである。逆合成的な形式化により、ポーズ増分は参照側に配置されるためヤコビアンは一度だけ計算され、アライメントは3段のピラミッドレベルにわたって粗から密へ実行される。 が残差に現れるため、露出も同じ更新の中で推定される。
- 統合ボクセルマップ:LiDARが幾何(平面)を構築・更新し、視覚はLiDAR点にパッチピラミッドを付加する。参照パッチは、姉妹パッチとのNCC類似度と視角の直交性によって再評価され、20フレームまたは40画素以上の動きの後に新しいパッチが追加され、新しいマップ点は空の30×30画素グリッドセルを最も勾配の大きい候補で埋める。
- オンデマンドのボクセルレイキャスティング:LiDARが少数の点しか返さない場合(近接ブラインドゾーン、視野の不一致)、未占有の画像グリッドセルを通してレイをキャストし、マップ点が見つかるまで深度方向にボクセルをサンプリングする——これにより視覚更新の制約を保つ。
実験結果
- ベンチマーク(25系列:NTU-VIRAL、Hilti’22、Hilti’23;LVI-SAMからループ閉じ込みを除去):平均絶対並進RMSE0.044 m——2位のFAST-LIVO(0.137 m)の約3倍精度が高く、FAST-LIO2(0.151 m)、R3LIVE(0.278 m)、LVI-SAM(1.928 m、9系列で失敗)、SDV-LOAM(7.416 m)を大きく上回る。暗く不鮮明な2系列を除きほぼすべての系列で最良で、その2系列ではFAST-LIO2がミリメートル単位でわずかに優れていた。
- アブレーション:オンライン露出推定を除去すると平均精度が6 mm悪化する;参照パッチ更新を除去すると44 mm悪化する;法線精緻化は約1 mmの改善(照明の良い構造化シーンでのみ有効)。
- 実行時間(i7-10700K):フレーム対あたり平均30.03 ms(LiDAR 17.13 ms+画像12.90 ms)——余裕を持って10 Hzのリアルタイム動作;ARM RB5(Qualcomm Kryo585)では78.44 msでもリアルタイムを維持。FAST-LIO2は画像を一切処理しないにもかかわらず、わずか約10.35 ms速いだけである。
- マッピング:実時間の着色点群マップは、クローズアップが実際のRGB画像に近い;紹介されたマッピング系列での端点位置誤差は0.01 m未満;露出正規化された着色により露出過多のマップ点はほぼなくなる。
- 応用:完全オンボードの自律UAVナビゲーション(レイキャスティングにより近接壁のブラインドゾーンで局所化を安定に保つ、LIVベースの実世界クローズドループ飛行の先駆的成功例)、空中マッピング、そして密な着色マップからのメッシュ/テクスチャリングおよびNeRF/3Dガウシアンスプラッティングモデル生成。コード、データセット、応用例はいずれもオープンソースである。
SLAMにおける意義
FAST-LIVO2は、最強のオープンソース直接LVIオドメトリとして広く認識されている——HKU MARS系列(FAST-LIO2 → FAST-LIVO → FAST-LIVO2)の集大成である。その逐次更新のトリックは、次元と構造が大きく異なる測定値を持つセンサを融合するための一般的に有用なパターンであり、実証されたUAV展開は、エッジコンピューティング予算下で直接三重融合が実用可能であることを示している。今日、ロボット向けの現代的なLVIシステムを選ぶなら、これが打倒すべきデフォルトの候補である。