ORB-SLAM2

Mur-Artal 2017 · 論文

一行要約 — ORB-SLAMをステレオおよびRGB-Dカメラに拡張し、3つのセンサモダリティすべてにわたってメトリックスケールと最先端の精度を提供する統一されたオープンソースSLAMフレームワーク。

問題

ORB-SLAMはモノキュラー専用であった: 単一カメラからは深度を観測できないため、マップと軌跡のスケールが未知であり、初期化には多視点からの立ち上げが必要で、システムはスケールドリフトに悩まされ、純粋な回転下では失敗しうる。ステレオおよびRGB-Dカメラはこれらすべての問題を解決するが、既存のステレオ/RGB-Dシステムはループ閉じ込みを欠いていたり、定数時間動作のために大域的整合性を犠牲にしていたり、ICPや測光アライメントに依存していた。ORB-SLAM2(IEEE TRO 2017)はBAベースのフレームワークを一般化し、「小型ハンドヘルド屋内シーケンスから、産業環境を飛行するドローン、市街地を走る自動車まで、多様な環境において標準的なCPU上でリアルタイムに動作する」単一のシステムを実現する。

手法とアーキテクチャ

トラッキング、ローカルマッピング、ループ閉じ込みという3つの並列スレッドに加え、ループ閉じ込み後のフルBAのための4番目のスレッドを持つ。トラッキングはモーションオンリーBAによってローカルマップに対して各フレームの位置を推定し、ローカルマッピングは共視性ウィンドウに対してローカルBAを実行し、ループ閉じ込みはDBoW2でループを検出し、共視性グラフ/スパニングツリーに対するポーズグラフ最適化によってドリフトを補正した後、フルBAを実行してその結果をスパニングツリーを通じたキーフレーム補正の伝播によってマージし直す。

• 入力の前処理: 画像は一度ORB特徴点に変換され、その後のシステム部分はセンサに依存しない。ステレオキーポイント $\mathbf{x}_{\mathrm{s}}=(u_L,v_L,u_R)$ はエピポーラ行マッチングから得られる。RGB-Dでは、各深度 $d$ が仮想右座標(virtual right coordinate) $u_R=u_L-\frac{f_x b}{d}$ に変換される。ここで $f_x$ は焦点距離、$b\approx 8$ cmはKinect/Xtionのベースラインである — これによりRGB-D入力は変更を加えずにステレオパイプラインに乗る。
• 近傍/遠方点ポリシー: ステレオ点は、その深度がベースラインの40倍未満であれば*近傍(close)*とみなされる(Pazらによる閾値) — これは単一フレームから安全に三角測量できスケール、並進、回転を提供する。*遠方(far)*点は複数視点で支持される場合のみ三角測量され、主に回転を制約する。モノキュラーキーポイント(ステレオ/深度マッチなし)も貢献する。
• モノキュラー+ステレオ制約付きBA(g2o、Levenberg–Marquardt): モーションオンリーBAは以下を解く:

$$\{\mathbf{R},\mathbf{t}\}=\operatorname*{argmin}_{\mathbf{R},\mathbf{t}}\sum_{i\in\mathcal{X}}\rho\left(\left\|\mathbf{x}^{i}_{(\cdot)}-\pi_{(\cdot)}\left(\mathbf{R}\mathbf{X}^{i}+\mathbf{t}\right)\right\|^{2}_{\Sigma}\right)$$

Huberコスト $\rho$、キーポイントスケール共分散 $\Sigma$、投影関数 $\pi_{\mathrm{m}}=\left(f_x\frac{X}{Z}+c_x,\ f_y\frac{Y}{Z}+c_y\right)$ を用い、ステレオ $\pi_{\mathrm{s}}$ はさらに第三行 $f_x\frac{X-b}{Z}+c_x$ を追加する。ローカルBAは共視性のあるキーフレーム $\mathcal{K}_L$ とその点 $\mathcal{P}_L$ を、境界キーフレーム $\mathcal{K}_F$ を固定して最適化する。フルBAは、起点キーフレームを除くすべてを自由にした同じ処理である。

• 立ち上げとループ閉じ込み: 単一フレームから深度が得られるため、マップは最初のキーフレームで初期化される — SfMによる初期化は不要。スケールが観測可能であるため、ループ補正はモノキュラーモードで必要な $\mathrm{Sim}(3)$ ではなく、剛体 $SE(3)$ のポーズグラフ最適化を用いる。
• キーフレーム挿入とローカリゼーションモード: 追跡中の近傍点が $\tau_t=100$ を下回るが、新規の近傍点を $\tau_c=70$ 個生成できる場合にキーフレームを挿入する新条件がある — これは遠方点が支配的なシーン(例: 高速道路)で重要となる。軽量なローカリゼーションモードはマッピング/ループ閉じ込みを無効化し、視覚オドメトリマッチ(ドリフトするが未マップ領域用)とマップ点マッチ(ドリフトなし)を組み合わせる。

実験結果

29の公開シーケンス(それぞれ5回実行、中央値、Intel i7-4790)で評価:

• KITTIステレオ(11シーケンス): 相対並進誤差は一般に1%未満(例: 00では0.70%、ATE 1.3 m、05では0.40%、0.8 m)、ほとんどのシーケンスでStereo LSD-SLAMを上回る。モノキュラーORB-SLAMが完全に失敗した高速道路シーケンス01は1.39% / 10.4 mで動作し、長く追跡された遠方点のおかげで回転誤差は0.21°/100 m。
• EuRoCステレオ(11のMAVシーケンス): 数センチメートルのRMSE、例えばV1_01は0.035 m(Stereo LSD-SLAMの0.066 mに対し)、V1_02は0.020 m(0.074 mに対し)、MH_03は0.028 m。V2_03のみ激しいモーションブラーにより失敗する。
• TUM RGB-D: BAベースの手法として唯一、ほとんどのシーケンスでElasticFusion、Kintinuous、DVO-SLAM、RGBD-SLAMを上回る — fr2/xyzで0.004 m、fr2/deskで0.009 m、fr3/officeで0.010 m、fr1/deskで0.016 m(ElasticFusionの0.020 m、DVO-SLAMの0.021 mに対して)。
• 処理時間: すべてのテスト設定でフレームあたりの平均トラッキング時間はカメラのフレーム時間を下回る(例: 30 HzのTUM RGB-Dで25.58 ms、10 HzのKITTIステレオで49.47 ms) — 標準的なCPUでリアルタイム動作。

SLAMにおける意義

ORB-SLAM2はORB-SLAMを、モノキュラー、ステレオ、RGB-Dセンサをカバーする汎用SLAMライブラリへと発展させ、数年にわたりSLAM論文における支配的な精度ベースラインとなった。その仮想ステレオRGB-Dトリックと近傍/遠方点ポリシーは広く模倣された。これはモノキュラーSLAM(レベル3)からステレオSLAM(レベル7)およびRGB-D SLAM(レベル4)への自然な橋渡しであり、ORB-SLAM3のビジュアル慣性・マルチマップシステムの直接の前身である。

ハンズオン

• ORB-SLAM2を実行する

関連ノート

• ORB-SLAM
• ORB-SLAM3
• Scale ambiguity
• OpenVSLAM
• Disparity vs Depth
• Scale observability