PL-SLAM

Pumarola 2017 · 論文

一行要約 — ORB-SLAMを線分特徴によって点特徴と併用できるように拡張する — 線は3D端点によってパラメータ化され、点の仕組みにそのまま組み込める — さらに新しい線のみによるマップ初期化を追加し、テクスチャの乏しい人工環境でのロバストなモノキュラーSLAMを実現する。

問題

低テクスチャシーンは、点ベースの幾何学的ビジョンにとって「主要なアキレス腱の一つ」である: ORB-SLAMは、テクスチャの乏しい映像や、モーションブラーによって特徴点が一時的に消失する場合(人工的なシーンでよく見られる状況)に失敗しやすい。そのようなシーンでも、信頼できる線ベースのプリミティブは存在する(市街地のシーン、「マンハッタンワールド」)が、線検出器やパラメータ化は点のものほど確立されておらず、線からの姿勢推定は信頼性が低く部分的な遮蔽に弱く、標準的なSLAMは点対応なしにはマップを立ち上げることすらできない。

手法とアーキテクチャ

PL-SLAMはORB-SLAMの3スレッド構成 — トラッキング、ローカルマッピング、ループ閉じ込み — を維持しつつ、検出、三角測量、マッチング、間引き、リローカリゼーション、最適化のすべてに線の処理を組み込む。ループ検出は点のみのままである。マップ全体で線をマッチングするのはコストが高すぎるためである。

• 検出とマッチング: LSDが$O(n)$で線分を抽出する。線は、Line Band Descriptors(LBD)の外観情報とペアワイズの幾何的整合性を組み合わせたリレーショナルグラフ戦略によってマップの線とマッチングされる。3視点未満から見えている線、あるいは可視であるべきフレームの25%未満でしか見えない線は間引かれる。
• 端点パラメータ化と線の再投影誤差: Vakhitovらに従い、3D線はその端点 $P,Q\in\mathbb{R}^3$ によって表される。検出された同次2D端点 $p^h_d,q^h_d$ から、正規化された線係数は $l=\frac{p^h_d\times q^h_d}{\lVert p^h_d\times q^h_d\rVert}$ であり、線の再投影誤差は投影された端点の点-線間距離の和である:

$$E_{line}(P,Q,l,\theta,K)=E^2_{pl}(P,l,\theta,K)+E^2_{pl}(Q,l,\theta,K),\qquad E_{pl}(P,l,\theta,K)=l^{\top}\pi(P,\theta,K)$$

ここで $\pi$ はカメラ姿勢 $\theta=\{R,t\}\in SE(3)$ と内部パラメータ $K$ で投影する。この誤差は、$P,Q$ を3D線に沿ってシフトしても変化しないため、暗黙的な正則化として働き、非最小のパラメータ化を安全にBA内で扱えるようにする。

• BAの結合コスト: 点誤差 $e_{i,j}=x_{i,j}-\tilde{x}_{i,j}$ と、線端点誤差 $e^{\prime}_{i,j}=(\tilde{l}_{i,j})^{\top}(K^{-1}p^{h}_{i,j})$、$e^{\prime\prime}_{i,j}=(\tilde{l}_{i,j})^{\top}(K^{-1}q^{h}_{i,j})$ を用いて、BAは以下を最小化する:

$$C=\sum_{i,j}\rho\left(e_{i,j}^{\top}\Omega_{i,j}^{-1}e_{i,j}+e^{\prime\top}_{i,j}\Omega^{\prime-1}_{i,j}e^{\prime}_{i,j}+e^{\prime\prime\top}_{i,j}\Omega^{\prime\prime-1}_{i,j}e^{\prime\prime}_{i,j}\right)$$

Huberコスト $\rho$ と、検出スケールに結びついた共分散 $\Omega$ を用いる。

• リローカリゼーション: EPnPはEPnPLに置き換えられる。これは検出された線の再投影誤差を最小化し、検出された端点を線に沿ってシフトさせることで投影されたモデル端点にマッチさせ、遮蔽や誤検出に対するロバスト性をもたらす。
• 線のみの初期化: 連続する3フレーム間で小さく一定の回転を仮定する($R_1=R^{\top}$、$R_2=I$、$R_3=R$)と、追跡された各線は制約 $l_{2}^{\top}\left((R^{\top}l_{1})\times(Rl_{3})\right)=0$ を与える。一次の回転近似 $R\approx I+[\mathbf{r}]_{\times}$ を用いると、3つのマッチした線が $r_1,r_2,r_3$ に関する3つの二次方程式を与え、これはKukelovaの多項式ソルバーを適応させて解かれる(最大8つの解)。並進 $t_1,t_3$ は三重焦点テンソル方程式から線形に求まる。合計5つの線対応があれば十分である。

実験結果

TUM RGB-Dベンチマーク(ATE RMSE、cm単位、5回実行の中央値)において、PL-SLAMは「すべてのシーケンスでORB-SLAMの軌跡精度を一貫して改善する」: f1_xyzで1.21対1.38、f2_xyzで0.43対0.54、f3_long_officeで1.97対4.05、f2_desk_personで1.99対5.95、f3_sit_xyzで0.066対0.08、f3_walk_halfsphで1.60対2.09。2つのシーケンス(PTAMがわずかに優れている)を除きすべてで最良の結果であるが、PTAMは12シーケンスのうち5つでトラッキングを失い、LSD-SLAMは3つ、RGBD-SLAMは7つで失った。線のみの初期化は、古典的なホモグラフィ/essential行列の初期化が曖昧性を検出して開始できないf3_nstr_tex_farさえも立ち上げることができる。大きなフレーム間回転の下でのみ失敗する。多項式ソルバーは数値的に安定である(誤差は約1e-15)。コスト: トラッキングはORB-SLAMの50 Hzに対して20 Hzで動作し、ローカルマッピングは7 Hzに対して3 Hzで動作する(ローカルBA 218.25 ms対118.5 ms) — 標準的なi7 CPUでほぼリアルタイム。

SLAMにおける意義

PL-SLAMは、線特徴の追加が精度を有意に改善することを示した — 点が消失する低テクスチャシーンだけでなく、テクスチャの豊富なシーケンスでも系統的に改善する — しかも端点パラメータ化のおかげでほぼすべての点ベースパイプラインを再利用できる。その線ベースの3視点初期化は、立ち上げにおける点対応への最後の強い依存を取り除いた。その後の点-線システム(Gomez-Ojedaのステレオ版PL-SLAMや、AirVOのような線支援VIOを含む)は、同じ「点+線」の哲学を基盤としている。

関連ノート

• ORB-SLAM
• Pop-up SLAM
• CubeSLAM
• AirVO
• Edge detector