CubeSLAM

Yang 2019 · 論文

一行要約 — モノキュラーSLAMに3Dキューボイド物体ランドマークを導入し、ドリフトを削減する長距離の幾何的・スケール制約を提供しつつ、動的物体を排除せずモデル化する。

問題

モノキュラーSLAMはスケールの曖昧性と長い軌道にわたる累積ドリフトに悩まされ、ほとんどのシステムは静的シーンを仮定し、動的領域の特徴を外れ値として扱う。一方、単眼3D物体検出は難しい。単一視点は物体の姿勢を不十分に制約し、ほとんどの手法は事前のCAD/形状モデルを必要とする。CubeSLAMの観察は、この2つの問題が互いを解決するということである。物体は点にはないスケールと長距離の制約を持ち、SLAMの多視点整合性は単一視点検出を改善し、移動する物体は破棄する代わりにモデル化できる — 論文は「2つの部分が互いを改善できること」を示している。

手法とアーキテクチャ

ORB-SLAM2の上に構築されている(トラッキングとキーフレーム生成は変更なし)。各新しいキーフレームはキューボイド検出、物体アソシエーション、その後カメラ・物体・点にわたるBAを受ける。

単一画像キューボイド検出。 キューボイドは9自由度を持つ: 位置 $\mathbf{t}$、回転 $R$、寸法 $\mathbf{d}=[d_x,d_y,d_z]$。2Dバウンディングボックスは4つの制約しか与えないため、消失点をサンプリングして提案を生成する — $\text{VP}_i=KR_{col(i)},\ i\in\{1,2,3\}$ — さらに1つの上端コーナー。残りの7個のコーナーは直線交差によって導かれる。地面上の物体については、地面コーナー画素 $p_5$ が解析的に地面平面 $[\mathbf{n},m]$ に逆投影される。

$$\mathbf{P}_{5}=\frac{-m}{\mathbf{n}^{\top}(K^{-1}p_{5})}K^{-1}p_{5}$$

スケールはカメラ高さで固定される。提案は $E(O|I)=\phi_{dist}(O,I)+w_{1}\phi_{angle}(O,I)+w_{2}\phi_{shape}(O)$ でスコア付けされる — キューボイドのエッジとCannyエッジのチャンファー距離、長い線分とVPのアラインメント、歪み比ペナルティ($w_1=0.8$、$w_2=1.5$)。

オブジェクトBA。 カメラ $C$、キューボイド $O$、点 $P$ に対して、BAは以下を最小化する。

$$C^{*},O^{*},P^{*}=\underset{\{C,O,P\}}{\arg\min}\sum\parallel\mathbf{e}(c_{i},o_{j})\parallel_{\Sigma_{ij}}^{2}+\parallel\mathbf{e}(c_{i},p_{k})\parallel_{\Sigma_{ik}}^{2}+\parallel\mathbf{e}(o_{j},p_{k})\parallel_{\Sigma_{jk}}^{2}$$

• カメラ-オブジェクト、3D形式: $e_{co\_3D}=[\log\big((T_{c}^{-1}T_{o})T_{om}^{-1}\big)^{\vee}_{\mathfrak{se}_{3}}\quad\mathbf{d}-\mathbf{d}_{m}]\in\mathbb{R}^9$(前後は区別できないため $0,\pm90°,180°$ のヨー反転にわたってテストされる); 2D形式: 8個のコーナーを投影し、バウンディング矩形の中心/サイズ $[\mathbf{c},\mathbf{s}]\in\mathbb{R}^4$ を取って比較する $e_{co\_2D}=[\mathbf{c},\mathbf{s}]-[\mathbf{c}_{m},\mathbf{s}_{m}]$ — 情報量は少ないが不確かさもはるかに小さい。
• オブジェクト-点: 物体上の点はその内部にあるはずである、$e_{op}=\max(|T_{o}^{-1}P|-\mathbf{d}_{m},\mathbf{0})$。
• カメラ-点: 標準的な再投影 $e_{cp}=\pi(T_{c}^{-1}P)-z_{m}$。

アソシエーションは共有特徴点(≥10個の共有点、キューボイド中心から1m以内の点)によってフレームをまたいで物体をマッチングする — オクルージョンや繰り返し物体に対して頑健である。キューボイドはまた、三角測量が困難な点の深度も初期化する。

動的物体。 剛体の移動物体は点をオブジェクトフレーム内にアンカーしたまま保持する。ノンホロノミック車輪モデルが $[t_x^{\prime},t_y^{\prime},\theta^{\prime}]=[t_x,t_y,\theta]+v\Delta t\,[\cos\theta,\ \sin\theta,\ \tan\phi/L]$ を予測し、運動モデル誤差 $e_{mo}$ を与える。動的な点は再投影ファクター $e_{dp}=\pi({}^{j}T_{o}^{i}\,{}^{i}P^{k},T^{j}_{c})-z_{kj}$ を追加するため、移動する車がカメラを制約する。動的な点はKLTで追跡され、運動補正された投影行列で三角測量される。

実験結果

• 単一視点検出: SUN RGB-Dサブセットにおいて、3D IoU 0.39(SUN Primitiveの0.36に対して; 3dgpがその検出画像で0.45 vs 0.42)。約50個の提案で2D IoU 0.6において約90%の3D提案リコール。KITTIでは、わずか20個のスコア付き提案でリコール90%(Mono3Dは約1.4万個をサンプリング); 上位10個の提案でIoU 0.38 / AP 0.75に達する。
• 相互に利益をもたらす物体SLAM: 低テクスチャのTUM fr3_cabinet(既存のモノキュラーSLAMはすべて失敗)において、物体のみのSLAMは姿勢誤差0.17 mに達し、BA後に物体IoUを0.46から0.64に引き上げる。10個のKITTI rawシーケンスにおいて、平均物体IoUは0.42→0.47に上昇し、並進誤差は4.95%(ORB、ループ閉じ込みなし)から1.62%に低下する。
• KITTIオドメトリベンチマーク: 物体ベースのCubeSLAMは平均並進誤差2.74%を達成し、以前の物体ベーススケール補正(Frost et al.)の9.75%に対して優れている; 地面平面スケーリングと組み合わせると1.78%に達する — ループ閉じ込みや一定のカメラ高さの仮定なしで、当時のモノキュラー精度の最先端である。
• 動的KITTIシーケンス: カメラ並進誤差3.42(ORB no-LCの平均4.96に対して)、動的物体3D IoU 0.32→0.39、移動車両の深度推定誤差平均4.9%(以前のステレオベースのトラッカーの6.8%/7.9%に対して); 速度推定は区分定数運動仮定下で正解を追跡する。

SLAMにおける意義

CubeSLAMは、事前の物体モデルを用いない物体レベルのモノキュラーSLAMを開拓し、セマンティック物体検出と幾何SLAMが相互に有益であることを示した。SLAMの多視点整合性は3D物体検出を改善し、物体はSLAMのドリフトとスケール誤差を削減する。動的物体を一級市民として扱ったことは、DynaSLAM IIやVDO-SLAMのような後の動的SLAMシステムを予兆させ、そのキューボイド表現は、QuadricSLAMの楕円体とともに、物体をランドマークとする研究方向を定義した。

関連ノート

• ORB-SLAM
• Pop-up SLAM
• SLAM++
• DynaSLAM II
• VDO-SLAM