Pop-up SLAM

Yang 2016 · 論文

一行要約 — 単一画像による「ポップアップ」平面検出をモノキュラーSLAMに統合し、平面をファクターグラフ内のランドマークとして用いることで、点特徴ベースの手法が失敗する低テクスチャ環境でも密な意味マッピングと状態推定が生き残れるようにする。

問題

特徴点ベースのSLAMシステムは顕著な点特徴に依存しており、「顕著な特徴がほとんどないため、難易度の高い低テクスチャ環境ではロバストではない」。廊下、白い壁、床面はLSD-SLAMやORB-SLAMを完全に失敗させる。生き残ったとしても、「得られたスパースまたはセミデンスなマップは運動計画にとってほとんど情報を伝えない」。密なマップの正則化に平面やシーンレイアウトを用いた先行研究も、依然として「他の手段からのしっかりした状態推定を必要とする」。Pop-up SLAMは、シーン理解が状態推定と密なマッピングの両方を改善できることを示す、特に低テクスチャ環境において。

手法とアーキテクチャ

システムは3つの部分からなる: 単一画像の平面「ポップアップ」フロントエンド、平面ランドマークSLAMバックエンド、点ベースのLSD-SLAMとの2種類の融合方式である。

単一画像の平面ポップアップ。 CNNが地面領域をセグメンテーションする。ポリラインをフィッティングする代わりに、真の壁-地面境界は、サブモジュラー最適化によって検出された線分から選択される: 検出されたエッジ $V=\{e_1,\dots,e_n\}$ が与えられたとき、$\max_{S\subseteq V}F(S),\ st\colon S\in I$ を見つける。ここでスコア $F=C(S)$ は水平方向の画像カバレッジであり、制約 $I=I_{close}\cap I_{ovlp}$ はエッジがCNN境界に近く、水平方向に重複しないことを要求する。貪欲法による更新 $S\leftarrow S\cup\{\operatorname{arg\,max}_{e\notin S}\bigtriangleup(e\mid S)\}$ は $\frac{1}{k+1}$ の最悪ケース最適性を保証する。平面は同次ベクトル $\boldsymbol{\pi}=(\mathbf{n}^\top,d)^\top$ で表され、フレーム間で $\boldsymbol{\pi}_w=\text{T}_{w,c}^{-\top}\boldsymbol{\pi}_c$ によって変換される。平面上の各画素 $\mathbf{u}$ は3D点にポップアップする:

$$\mathbf{p}_{c}=\frac{-d_{c}}{\mathbf{n}_{c}^{\top}(\text{K}^{-1}\mathbf{u})}\text{K}^{-1}\mathbf{u}$$

壁の法線は垂直性から求まる: $\mathbf{n}_{wall,c}=\mathbf{n}_{gnd,c}\times(\mathbf{p}_{c1}-\mathbf{p}_{c0})$。初期化のためのカメラ回転は、Manhattanの消失点から $\mathbf{v}_{i}=\mathbf{K}\mathbf{R}_{w,c}^{\top}\mathbf{e}_{i}$ によって得られる。

平面SLAMバックエンド。 ファクターグラフ(iSAM)が、ポップアップされた平面計測とオドメトリから、6自由度姿勢 $x_0,\dots,x_t$ と平面ランドマーク $\boldsymbol{\pi}_0,\dots,\boldsymbol{\pi}_n$ を推定する。各平面は地面/壁のラベルを持つ。$(\mathbf{n}^\top,d)^\top$ は過パラメータ化されている(情報行列が特異になる)ため、平面は最小の四元数表現 $\mathbf{q}\in\mathbb{R}^4$、$\|q\|=1$ で最適化され、指数写像を介して更新される。データアソシエーションは平面法線の差、相互距離、投影の重複を用いる。ループ閉じ込みはORBのバグオブワーズを用い、その後重複した平面のファクターはマッチしたランドマークにシフトされる。平面計測は各姿勢更新後に再ポップアップされる(百平面あたり1 ms未満)。

点-平面融合。 平面のみのSLAMは廊下では制約不足である(平行な壁に沿った自由方向 $t_{free}$ が生じる)ため、LSD-SLAMとの2種類の組み合わせが提案されている: (1) Depth Enhanced LSD SLAMは、誤差伝播により $\sigma_p^2\propto d_p^2$ となるポップアップ深度 $d_p$ を、LSDの伝播深度 $d_l$ と融合する: $\mathcal{N}\left(\frac{\sigma_{l}^{2}d_{p}+\sigma_{p}^{2}d_{l}}{\sigma_{l}^{2}+\sigma_{p}^{2}},\frac{\sigma_{l}^{2}\sigma_{p}^{2}}{\sigma_{l}^{2}+\sigma_{p}^{2}}\right)$。(2) LSD Pop-up SLAMは、強化されたLSDの姿勢をオドメトリファクターとして用いて平面SLAMを実行する。

実験結果

• TUM fr3/structure_notexture_far(5枚の白い壁+地面): LSD-SLAMとORB-SLAMはいずれも失敗する。Pop-up Plane SLAMは、4.58 mの軌跡上で平均位置誤差 $0.18\pm0.07$ m(3.9%)、終点誤差0.10 mを達成する; 平面法線誤差2.83°、平均画素深度誤差6.2 cmで、画素深度の86.8%が0.1 m以内である。
• Corridorデータセット II(60 mのループ、ハンドヘルド640×480カメラ): LSD Pop-up SLAMは0.4 mの誤差(軌跡長の0.67%)でループを閉じるが、LSDとORB SLAMは性能が低い(ORBはしばしば初期化に失敗する)。
• 実行時間(i7 4.0 GHz + CNN用GPU): CNNセグメンテーション17.8 ms、エッジ検出/選択13.2 ms、iSAM増分更新17.4 ms; 処理フレームあたり合計49.4 ms(単一スレッドで20 Hz超)であり、ポップアップは10フレームごとに1回(3 Hz)実行される。マップ統計: 146平面、344姿勢、1974ファクター。

SLAMにおける意義

Pop-up SLAMは、構造的・意味的な事前情報を幾何SLAMに注入する早期の例であり、シーン理解とSLAMが相互に利益をもたらすことを示した: 単一画像の事前情報は縮退したシーンでSLAMを救い、SLAMはその事前情報に3次元的な整合性を与える。これは後の平面ベース・構造認識SLAM研究に影響を与え、同じ著者らによる物体レベルのCubeSLAM(その地面平面の逆投影幾何を再利用する)の直接の前身である。

関連ノート

• ORB-SLAM
• PL-SLAM
• CubeSLAM
• LSD-SLAM
• Factor graph