AirVO

Xu 2023 · 論文

一行要約 — 高速化された学習ベースの点特徴(SuperPoint + SuperGlue)と、点を介してマッチングされるLSD線特徴を組み合わせた、照明変化に強いステレオビジュアルオドメトリ。低消費電力の組み込みプラットフォーム上でリアルタイム(~15 Hz)動作する。

問題

手作りのフロントエンド(ORB, FAST, BRISK)やオプティカルフロー追跡は、フレーム間で輝度がほぼ一定であることを仮定している。トンネル内の車載照明、照明の消灯、自動露出の変動といった動的照明環境では、ロボットが最も追跡を必要とする瞬間にまさに追跡品質が崩壊してしまう。学習された特徴ははるかに頑健だが、「しばしば巨大な計算資源を要求する」ため、UAVのような軽量プラットフォームでは実用的でない。線特徴はテクスチャの少ないシーンに構造を追加できるが、古典的な線マッチング(LBD記述子、追跡サンプル点)自体も照明変化に対して不安定である。AirVOはこれら3つのギャップすべてを同時に狙う。照明変化に頑健でかつ組み込み向けリアルタイムな、学習ベースと古典手法を組み合わせた点・線VOである。

手法とアーキテクチャ

学習ベースのフロントエンドと従来型最適化バックエンドを組み合わせたハイブリッドパイプライン。特徴スレッド(GPU上のSuperPointと、並行してCPU上で動くLSD線検出をサブスレッドに分割)と最適化スレッド(初期姿勢推定、キーフレーム判定、局所BA)に分かれる。CNN/GNN推論はFP32からFP16に変換され、特徴抽出+マッチングは元のコードより5倍以上高速化されている。

• 学習された点、キーフレームベースの追跡。 左画像のSuperPoint特徴は、フレームごとではなく直前のキーフレームに対して直接SuperGlueでマッチングされる — 学習ベースのマッチングは大きなベースラインでも生き残るため、これにより累積追跡誤差が低減される。
• LSDによる長い線分。 LSD線分はほぼ同一直線上にある場合(角度 < $\delta_\theta$、線分への中点距離 < $\delta_d$、端点間隔 < $\delta_{ep}$)に統合される。短い残余は除外され、安定した長い線分のみが残る。
• 点を介した線マッチング。 各点 $\mathbf{p}_i = (x_i, y_i)$ は、その距離 $$d_{ij} = \frac{\lvert A_j x_i + B_j y_i + C_j \rvert}{\sqrt{A_j^2 + B_j^2}}$$ が小さければ、線 $\mathbf{l}_j$(パラメータ $A_j, B_j, C_j$)に関連付けられる。フレーム $k$ と $k{+}1$ の2本の線は、スコア $S_{mn} = \frac{N_{pm}}{\min({}^k N_m,\, {}^{k+1} N_n)}$(共有する一致点数を、より少ない側の線あたり点数で割った値)と $N_{pm}$ が閾値を超える場合に同一とみなされる — 線記述子は不要であり、点マッチャーの照明ロバスト性が線にも無償で継承される。
• 3D線分。 三角測量・変換・投影にはプリュッカー座標 $\mathbf{L} = [\mathbf{n}^T, \mathbf{v}^T]^T$ を使用し、最適化中には最小4自由度の正規直交表現 $(\mathbf{U}, \mathbf{W}) \in SO(3) \times SO(2)$ を用いる。三角測量は2つの逆投影平面の交差により行われる。これが退化する場合、線は関連づけられた2つの三角測量済み点から構成される: $\mathbf{n} = \mathbf{X}_1 \times \mathbf{X}_2$、$\mathbf{v} = (\mathbf{X}_1 - \mathbf{X}_2)/\lVert \mathbf{X}_1 - \mathbf{X}_2 \rVert$ — 点がすでに存在するため、ほぼ無償で得られる。
• 同時最適化。 キーフレーム・地図点・3D線分にわたる共可視グラフ(ORB-SLAM方式)。線の再投影誤差は、再投影された線 ${}^k\mathbf{l}_i$ に対する検出済み2端点 $\bar{\mathbf{p}}_{i,1}, \bar{\mathbf{p}}_{i,2}$ の点-線距離を並べたものである: $$e_l = \begin{bmatrix} d(\bar{\mathbf{p}}_{i,1},\, {}^k\mathbf{l}_i) & d(\bar{\mathbf{p}}_{i,2},\, {}^k\mathbf{l}_i) \end{bmatrix}^T,$$ これに標準的な点の再投影誤差 $\mathbf{E}_p = \bar{\mathbf{x}}_q - \pi\left({}_w^c\mathbf{R}\, {}^w\mathbf{X}_q + {}_w^c\mathbf{t}\right)$ が加わる。
• キーフレームは直前のキーフレームからの距離・角度、または追跡中の地図点数の低下に基づいて選定され、キーフレームの右画像はその後ステレオ三角測量のために処理される。

実験結果

(すべてのベースラインでループ閉じ込みと再局在化を無効化した上で)照明が過酷な2つのデータセットで評価:

• OIVIO(トンネル/鉱山、車載1300〜9000ルーメンの照明): 9系列中7系列で最良の並進RMSE、残り2系列でも2位 — 例: MN_015_GV_01では0.0537 mに対し、OKVIS 0.0663、ORB-SLAM2 0.0762、Basalt-VIO 0.2157; VINS-Fusion, StructVIO, UV-SLAMは多くの系列でトラッキングロストするか10 m超の誤差となる。
• UMA-VI(系列中盤で照明が消灯): 平均誤差0.2479 m — PL-SLAM(3.7096 m)の6.7%、OKVIS(0.5141 m)の48.2%; ORB-SLAM2とBasalt-VIOは4系列すべてでトラッキングロスト。conference-csc2ではドリフトが約1.0%に対し、OKVISは1.5%、PL-SLAMは7.1%。
• アブレーション: 線パイプラインを加えることで、13系列中12系列で点のみのAirVOを上回り、並進誤差を平均58.2%削減。
• 実行時間(Jetson AGX Xavier、640×480、200点): 点検出+追跡は64 msで、非高速化版の342 msに対し5.3倍高速; システム全体でJetson上約15 Hz、ノートPC上約40 Hz。

SLAMにおける意義

著者らによれば、AirVOは学習ベースの特徴検出と学習ベースのマッチングの両方を、低消費電力組み込みハードウェア上でリアルタイムに用いた最初のVOであり、学習ベースのフロントエンドがマッチングベンチマークだけでなく実運用でも成果を上げることを示した。点を起点とした線マッチングは、脆弱な線記述子を完全に迂回する巧妙なトリックである。古典的な間接VO/VIOパイプラインを深層学習コンポーネントで現代化するための良いテンプレートとなっている(同グループの後継研究AirSLAMは、ループ閉じ込みと地図再利用を加えてこれを拡張している)。

関連ノート

• SuperPoint — AirVOの中核をなす学習された特徴。
• SuperGlue — 点フロントエンドが基盤とするGNNマッチングのパラダイム。
• PL-SLAM — 手作り特徴を用いた先行の点+線SLAM(主要ベースライン)。
• VINS-Mono — 本研究がアップグレードする古典的な密結合ベースライン。
• Learned vs hand-crafted — AirVOが実証的に答えているフロントエンド設計上の問い。
• LightGlue — このクラスのフロントエンドのための効率的な学習ベースマッチング。