R3LIVE++

Lin 2023 · 論文

一行要約 — R3LIVE++はR3LIVEを単純なRGB彩色からオンザフライの輝度マップ再構成へと発展させ、カメラのフォトメトリックキャリブレーションとオンラインの露出時間推定を追加することで、マッピングの忠実度と状態推定精度の双方を改善する。

問題

R3LIVEはマップ点に生のRGB値を格納するが、ピクセルの明るさはシーンの性質そのものではなく、シーンの輝度がカメラの非線形応答関数、レンズの周辺減光、そしてそのフレームで自動露出が選んだ露出時間を通してフィルタされたものである。このパイプラインを無視すると、格納された色は視点や時間によって不整合になり、フォトメトリック残差に系統的な誤差を注入してしまう。R3LIVE++は撮像パイプラインを明示的にモデル化することで、デバイス依存のRGBではなく、物理量である輝度をマップに格納する。

手法とアーキテクチャ

R3LIVEと同じ2サブシステムのESIKFアーキテクチャ — FAST-LIO方式のLIOがマップの幾何構造を構築し、直接法のVIOがそれらの点の輝度を復元する — だが、視覚側は物理的にモデル化されている。

• 画像形成モデル: 各カラーチャンネル $i$ について、記録されるピクセル強度は

$$\mathbf{I}_i(\boldsymbol{\rho}) = \mathbf{f}_i\big(\tau\, V(\boldsymbol{\rho})\, \boldsymbol{\gamma}_i\big),$$

であり、$\boldsymbol{\gamma}_i$ はその点のシーン輝度、$V(\boldsymbol{\rho}) \in [0,1]$ はピクセル単位の周辺減光係数、$\tau$ は露出時間、$\mathbf{f}_i(\cdot)$ はそのチャンネルの非線形カメラ応答関数(CRF)である。CRFと周辺減光はオフラインでキャリブレーションされ、これを反転することで観測ピクセルから輝度が得られる: $\boldsymbol{\gamma}_i = \mathbf{f}_i^{-1}(\mathbf{I}_i(\boldsymbol{\rho})) \,/\, (\tau V(\boldsymbol{\rho}))$。一定の照明とランバート反射の下では、輝度はカメラ姿勢に対して不変である — これがまさに自己運動推定を駆動できる理由である。

• 状態に含まれる露出: 完全な状態 $\mathbf{x} = ({^G}\mathbf{R}_I, {^G}\mathbf{p}_I, {^G}\mathbf{v}, \mathbf{b_g}, \mathbf{b_a}, {^G}\mathbf{g}, {^I}\mathbf{R}_C, {^I}\mathbf{p}_C, \epsilon, {^I}t_C, \boldsymbol{\phi})$ には、外部パラメータ、時間オフセット、内部パラメータとともに逆露出時間 $\epsilon = 1/\tau$ が含まれ、オンラインで推定される。
• 補正済み画像上の2段階VIO: 入力画像はまずフォトメトリック補正(CRFと周辺減光を除去)されて $\boldsymbol{\Gamma}$ になる。オプティカルフローで追跡されたマップ点に対するフレーム間PnP更新が粗い状態を与え、続いてフレーム-マップ更新が各追跡点の輝度誤差を最小化する。

$$\mathbf{r}_c(\check{\mathbf{x}}_k, {^G}\mathbf{p}_s, \boldsymbol{\gamma}_s) = \boldsymbol{\Phi}_s - \boldsymbol{\gamma}_s, \qquad \boldsymbol{\Phi}_s = \check{\epsilon}_k\, \boldsymbol{\Gamma}_k(\check{\boldsymbol{\rho}}_{s_k}),$$

マップ点に格納された輝度 $\boldsymbol{\gamma}_s$ を、その投影位置で観測された輝度 $\boldsymbol{\Phi}_s$ と比較する。$\boldsymbol{\Phi}_s$ が $\epsilon$ に依存するため、残差ヤコビアンには露出に関する非ゼロの項があり — 姿勢を追跡する同じ更新が露出も推定する。

• パッチではなく単一ピクセル: 残差は個々のピクセル上で、その点に格納された輝度(カメラの回転/並進に対して不変)を用いて計算され、パッチベースの直接法が持つパッチワーピングやパッチ内一定深度の近似を避ける。
• 輝度マップの更新: 収束後、ベイズ更新が新しい観測を各可視点の輝度に融合し、照明変化のランダムウォークノイズ $\mathbf{n}_{\text{ic}} \sim \mathcal{N}(\mathbf{0}, \boldsymbol{\sigma}^2_{\text{ic}} \Delta t_{\boldsymbol{\gamma}_s})$ が古くなった輝度の共分散を増大させる。

実験結果

• NCLTベンチマーク(25シーケンス、138.0 km、合計33.6時間; 公平性のためベースラインではループ閉じ込みを無効化): R3LIVE++は最良の平均絶対位置誤差8.51 mを達成し、FAST-LIO2(9.59 m)、R2LIVE(10.58 m)、自身のLIO単独(10.75 m)、LVI-SAM(15.03 m)、LIO-SAM(15.39 m)を上回る。
• R3LIVEデータセット(自己収集のHKU/HKUSTシーケンス13本、8.4 km、2.4時間、LiDAR/カメラが退化する3シーケンスを含む): デバイスが単一のテクスチャレスな壁に向き合うシナリオでもシステムは生存する。
• 露出推定(カメラAPIからの地上真値と比較): 5シーケンスにわたる平均誤差0.189–3.460 msであり、Tum-cali(0.341–7.082 ms)より一貫して低い。例えばhkust_campus_seq_02では0.302 ms対5.225 ms。
• 輝度マップの精度(すべての画像に再投影されたマップの平均フォトメトリック誤差): すべてのシーケンスで最良 — 例えばhku_campus_seq_00では14.57(R3LIVE++)対22.56(R3LIVE)対34.78(最新フレームで彩色するベースライン)。
• 実行速度(i7-9700K、CPUのみ): NCLTでLiDARスキャン1回あたり34.3 ms、画像1枚あたり16.6 ms — データ1秒あたりの合計処理時間は0.5秒未満、つまりリアルタイムの約2倍の速さである。
• 輝度マップ上に構築されたアプリケーション: HDRイメージング(複数の仮想露出でのレンダリング)、仮想環境探索、3Dビデオゲーム。

SLAMにおける意義

R3LIVE++は、SLAMとフォトリアリスティックな再構成の融合における早期の実用的な一歩である。見た目を装飾ではなく校正済みの物理的測定として扱い、リアルタイムLVI推定器の内部で輝度場的な発想(NeRF、Gaussian splatting)を先取りしている。そのフォトメトリックキャリブレーションとオンライン露出推定は、後のFAST-LIVO2のような直接法LVIシステムに引き継がれた。成果物が軌跡だけでなく高忠実度の彩色マップである場合に手を伸ばすべき手法である。

関連ノート

• R3LIVE — これが改良する前身システム
• FAST-LIVO2 — オンラインで露出も推定する直接法LVIオドメトリ
• FAST-LIO2 — HKU MARSスタックの基盤となるLiDAR-慣性
• Direct LiDAR-camera alignment — 直接法にとってフォトメトリックキャリブレーションが重要な理由
• DSO — 完全なフォトメトリックキャリブレーションを開拓した視覚専用システム
• NeRF — このシステムがリアルタイムで先取りしている輝度場の発想