Ultimate-SLAM

Vidal 2018 · 論文

一行要約 — Ultimate-SLAMは、イベント、標準フレーム、IMUを一つのキーフレームベースの非線形最適化にタイトに融合する最初の状態推定パイプラインであり、3つのセンサーの相補的な強みを活用することで、いずれか一つのモダリティが失敗するHDRや高速シナリオでも精度を保つ。

問題

単一のセンサーだけでは、動作範囲全体をカバーできない。標準カメラは、低速で照明の良いシナリオではほとんどの場合、即時かつ豊富な情報を提供するが、高速な動き（同期露光によるモーションブラー）や困難な照明条件（イベントカメラの140 dBに対し約60 dBのダイナミックレンジ）の下では深刻に破綻する。イベントカメラはモーションブラーの影響を受けず、非常に高いダイナミックレンジを持つが、静止に近いホバリングのように動きが限られている場合はほとんど情報を出力しない。IMUは高レートのダイナミクスを提供するが、視覚的な補正がなければドリフトする。先行のイベント＋フレームシステムは、フレーム輝度をイベントとの位置合わせのためのテンプレートとして使用していた——そのため、まさにイベントが優位性を持つ場面で失敗していた。この研究以前、3つのモダリティすべてをタイトに融合したパイプラインは存在しなかった。

手法とアーキテクチャ

Rebecqら（BMVC 2017）のイベント・慣性パイプラインを基盤とし、並列の視覚モダリティとして標準フレームを追加して拡張している。

• 時空間イベント窓: 各標準フレームの時刻 $t_k$ において、直近 $N$ 個のイベントの窓 $W_k = \{e_{j(t_k)-N+1}, \dots, e_{j(t_k)}\}$ が選択される（窓の期間はイベントレートに自動的に適応し、クアッドロータ実験では $N = 20\,000$）。
• 動き補償イベントフレーム: 各窓は合成画像 $I_k(\mathbf{x}) = \sum_{e_i \in W_k} \delta(\mathbf{x} - \mathbf{x}'_i)$ に圧縮される。ここで各イベントは、IMU積分による増分姿勢とシーン深度を用いて基準カメラフレームにワープされる。$\mathbf{x}'_i = \pi_0(T_{t_k, t_i}(Z(\mathbf{x}_i)\,\pi_0^{-1}(\mathbf{x}_i)))$ であり、$\pi_0$はイベントカメラの投影、$T_{t_l,t_m}$はIMU積分による増分変換、$Z(\mathbf{x}_i)$は可視ランドマークの中央値深度で近似される。
• デュアル特徴追跡: FASTコーナーが検出され、動き補償イベントフレームと標準フレームの両方で独立にKLT追跡される（ピラミッド2レベル、$24\times24$パッチ、$32\times32$のバケッティンググリッド）。これにより2種類の異種トラック集合 $\{\mathbf{z}^{0,j,k}\}$、$\{\mathbf{z}^{1,j,k}\}$ が生成され、信頼できるトラックは線形三角測量によって永続的な3Dランドマークとなる。
• タイトカップリングのバックエンド: 両方のトラック集合とIMU項が、$M$個のキーフレームと直近 $K$ 個のフレームのスライディングウィンドウにわたる一つの結合コストに入り、Ceresで解かれる。

$$J = \sum_{i=0}^{1}\sum_{k=1}^{K}\sum_{j\in\mathcal{J}(i,k)} {\mathbf{e}^{i,j,k}}^{T}\mathbf{W}_r^{i,j,k}\,\mathbf{e}^{i,j,k} + \sum_{k=1}^{K-1} {\mathbf{e}_s^{k}}^{T}\mathbf{W}_s^{k}\,\mathbf{e}_s^{k}$$

再投影残差は $\mathbf{e}_r^{i,j,k} = \mathbf{z}^{i,j,k} - \pi_i(\mathbf{T}_{C_i S}^{k}\mathbf{T}_{SW}^{k}\,\mathbf{l}^{i,j})$ であり、センサー添字 $i$（イベント／標準カメラ）、フレーム $k$、ランドマーク $j$ にわたって、標準的なIMUのキネマティクス・バイアス誤差項 $\mathbf{e}_s$ が加わる。明示的な切り替え方策は存在せず——最適化は自然に、その時点で情報を持つモダリティに重みを置く。

• 実用上の詳細: 静的初期化によって初期のピッチ・ロールとIMUバイアスを推定する。イベントレートが約$10^3$イベント/秒を下回るたび（ほぼ静止した動き、イベントがほぼ消失する場合）に強いゼロ速度事前分布が加えられる。

実験結果

• Event Camera Dataset（DAVIS 240C: $240\times180$イベントアレイ + 24 Hzフレーム + 1 kHz IMU、ハードウェア同期）で評価。回転のみおよびIMUなしの系列は除外。軌道は5秒ごとにSE3アラインメントされ、誤差は移動距離に対する%として報告される。
• Fr+E+I 対 同一パイプラインの単一モダリティ変種: 平均位置精度はイベント+IMU比で130%、**フレーム+IMU比で85%**改善。平均位置誤差の例（Fr+E+I / E+I / Fr+I）: dynamic_6dofは0.19 / 0.38 / 0.62%、hdr_boxesは0.37 / 0.67 / 0.78%、shapes_6dofは0.10 / 0.48 / 0.17%。
• 最新のE+I(Rebecqら 2017)との比較: ほぼすべての系列で優れる。例えばposter_translationは0.12%対0.46%、shapes_6dofは0.10%対0.42%。
• イベントカメラを状態推定に用いた初めての自律クアッドロータ飛行、Odroid XU4（2.0 GHzクアッドコア）上でオンボードで動作: (i) 室内照明を消灯・点灯しながらの飛行（フレームは完全に黒くなるが、イベントは追跡を継続する）、(ii) 照明の暗い部屋での最大1.68 m/s（オプティカルフローで約340ピクセル/s相当）の高速な旋回（フレームはブレるがイベントフレームはシャープなまま）、(iii) ホバリング（イベントトラックは消滅するが、フレームトラックはドリフトなしでドローンを保持する）。

SLAMにおける意義

Ultimate-SLAMは、イベントカメラ分野における初期の戦略的な問いに答えた。イベントは全面的な置き換えではなく、フレームとIMUを補完するものとして最も強力である——各モダリティが他のモダリティの盲点を補い、（画素レベルではなく）推定器レベルで融合することで劣化を緩やかにできる。そのタイトカップリングのイベント＋フレーム＋IMUファクターグラフ形式は、その後のイベントVIO研究（ESVIO、EDSスタイルのハイブリッド）の標準的なテンプレートとなり、そのクアッドロータ実験は、イベントセンシングが実際のロボットの安全な運用範囲を拡張することを示す画期的な実証となった。

関連ノート

• EVO
• ESVIO
• EDS
• VINS-Mono
• IMU preintegration
• Event cameras (DVS)