DynaSLAM
Bescós 2018 · 論文
一行要約 — ORB-SLAM2の上にMask R-CNNベースの動的物体除去と背景インペインティングを追加し、移動物体のあるシーン(単眼・ステレオ・RGB-D)でトラッキングとマッピングをロバストにした。
問題
「シーン剛体性の仮定はSLAMアルゴリズムにおいて典型的である。このような強い仮定は、サービスロボティクスや自動運転車などの重要な応用の対象である、人が行き交う実世界環境において、ほとんどの視覚SLAMシステムの利用を制限する。」動く人や車両上の特徴は姿勢推定を損ない、マップに焼き込まれた動的コンテンツは古びたランドマークや誤ったループクロージング候補を生む。DynaSLAMはORB-SLAM2に2つの機能を追加する: 動的物体検出(多視点幾何、深層学習、あるいはその両方による)と背景インペインティングであり、これによってマップは持続的なシーンのみを含むようになる。
手法とアーキテクチャ
- 事前定義された動的クラスのCNNセグメンテーション。 すべてのRGBフレームはMask R-CNN(Matterport実装、MS COCOで学習)を通過し、19個の潜在的に移動可能なクラス(人、自転車、車、…、犬など)を分割する。の画像に対して個のバイナリマスク(=物体インスタンス数)を出力し、それらを1つの動的マスクに統合する。単眼/ステレオモードでは、これらのマスク上のキーポイントは単純に「トラッキングもマッピングもされない」。
- 低コストトラッキング。 ORB-SLAM2トラッキングの軽量版が静的な部分のみでカメラを位置決めする: マップの特徴をフレームに投影し、静的領域内でマッチングし、再投影誤差を最小化する。マスクの輪郭上の特徴(人工的な高勾配領域)は破棄される。
- 多視点幾何チェック(RGB-D)。 未登録だが移動可能な物体(持ち運ばれた本、移動した椅子)を捉えるために、各新フレームはその重複度が最も高い5つのキーフレームと比較される。キーポイントは現フレームに投影されてと投影深度を与える。視差角であればその点はオクルージョンされている可能性があるとして無視され、そうでなければ計測深度が次の条件でテストされる:
これにより点は動的とラベル付けされる。は30枚の手動ラベル付けされたTUM画像でを最大化するように調整された。動的ラベルは深度パッチの分散によりクリーンアップされ、その後深度画像上の領域成長によって完全なマスクへと拡張される。
- 2つの検出器の融合。 幾何のみでは(深度が乏しく特徴が少ないため)遠くの人を見逃し、応答する前に動きが必要となる。学習のみでは、マップに「浮いた本」を残す。両方が発火した場合、幾何マスクが優先される(より厳密であるため)。学習のみによる検出も保持される。分割された動的部分はフレームとマップから除去され、ORB-SLAM2のトラッキング、ローカルBA、ループクロージングは静的な残りの部分で実行される。
- 背景インペインティング。 直近20キーフレームのRGBと深度が現フレームの動的セグメントに投影され、遮蔽された背景の静的画像が合成される(背景が一度も観測されなかった箇所には隙間が残る) — AR/VRや、ライフロングマップでの再ローカライゼーションに有用である。
実験結果
- TUM RGB-D(ATE RMSE、10回実行の中央値): 高動的なwalking系列では、DynaSLAM(N+G)対RGB-D ORB-SLAM2 — w_halfsphere 0.025対0.351 m、w_xyz 0.015対0.459 m、w_rpy 0.035対0.662 m、w_static 0.006対0.090 m(誤差92.9–96.7%削減)。誤差は約1–2 cmで、「静的シーンにおける最先端手法と同程度」である。低動的なsitting系列では同等かわずかに悪い(s_xyz 0.015対0.009)が、マップは動的物体を含まない。
- バリアント研究: ネットワーク+幾何(N+G)の組み合わせはどちらか単独より優れる — 幾何のみはw_xyz(0.312)で失敗する。これは動きとセグメンテーション前の遅延を必要とするためである。トラッキング前に背景インペインティングを行うことは回転系列を悪化させる(w_rpy 0.136)。
- 単眼TUM: ORB-SLAMよりわずかに高いATE(w_halfsphere 0.021対0.017 m)だが、はるかに多くの軌道を追跡できる(97.84%対87.16%; w_xyz 87.37%対57.63%)。初期化もはるかに早く行われる — ORB-SLAMは動く物体がシーンを離れて初めて初期化する。
- KITTIステレオ: ORB-SLAM2よりわずかに精度は低い(例: KITTI 00のATE 1.4対1.3 m)が、動的物体が支配的な場合は逆に良い(KITTI 01: 9.4対10.4 m)。また再利用可能な構造のみのマップを生成する。
- 速度: リアルタイムではない — Mask R-CNNは約195 ms/画像(Tesla M40)、多視点幾何は236–334 ms、インペインティングは184–208 msであり、低コストトラッキングの1.6–1.7 msに比べて重い。論文はこれを精度/速度のトレードオフ研究として位置づけている。
SLAMにおける意義
DynaSLAMは、DS-SLAMと並んで動的SLAMの標準的なベースラインである: 動的環境でのSLAMに関するその後のほぼすべての論文が、TUM RGB-Dの動的系列上でこれと比較している。これは、学習されたインスタンスセグメンテーションと幾何的整合性チェックを組み合わせるという今や標準的な手法を確立し、その「除去してインペイントする」というアイデアは、マップが一時的な居住者ではなく持続的なシーンを表すべきライフロングマッピングを示唆した。DynaSLAM IIはその後、動的物体を破棄することから、それらをトラッキングすることへと移行した。