SuMa++

Chen (Bonn) 2019 · 論文

一行要約 — SuMa++は、RangeNet++によるポイントワイズのセマンティクスでSuMaを拡張し、セマンティック整合性チェックによって動く物体をサーフェルマップから除外し、セマンティックな一致度によってICP残差に重み付けする。これにより、駐車中の車を盲目的に削除することなく、動的な交通環境における頑健性を大幅に改善する。

問題

SuMaは — 他の大半のLiDAR SLAMシステムと同様に — 静的な世界を仮定しており、すべてのスキャン点がICPレジストレーションに等しく寄与する。運転シーン、特に明確な静的構造の少ないハイウェイでは、(交通渋滞中の車のような)常に動く外れ値に対する誤った対応点が、フレーム-モデルICPを交通そのものに固定してしまい、姿勢とマップの両方を破壊する。単純な対処法 — 可動クラスの点をすべて削除する — は逆効果である: 駐車中の車はしばしば利用可能な最も特徴的な静的構造であり、それを除去するとサーフェルマップが疎になり、レジストレーションはむしろ悪化する。システムには実際に動いている物体と動く可能性はあるが静止している物体を区別する必要がある。

手法とアーキテクチャ

SuMaのパイプラインは3箇所で拡張される: セマンティックセグメンテーションのフロントエンド、マップ更新における動力学フィルタ、そしてICPにおけるセマンティック重みである。

• レンジ画像上のセマンティックセグメンテーション: RangeNet++ — SqueezeSegアーキテクチャに基づき、DarkNet53バックボーンを持つFCNであり、SemanticKITTIで訓練されている — が球面投影のすべての点にラベルを予測し、生のセマンティックマスク $\mathcal{S}_{\text{raw}}$ を生成する。各サーフェルは推定ラベル $y$ とその確率も追加で保持する。

• フラッドフィルによるラベル精緻化: ブロブ状のCNN出力の逆投影はラベルのアーティファクトを引き起こすが、これは2段階で軽減される: 侵食処理が、近傍(カーネルサイズ $d$)に矛盾するラベルを含むピクセルを除去し、その後深度ベースの充填処理が、頂点マップの距離が(閾値 $\theta$ 以内で)整合する近傍から侵食された境界ピクセルを再割り当てし、精緻化されたマスク $\mathcal{S}_D$ を生成する。

• セマンティック整合性による動力学フィルタリング: マップ更新中、新しい観測 $\mathcal{S}_D$ のラベルは、レンダリングされたセマンティック世界モデル $\mathcal{S}_M$ と照合される。矛盾するサーフェル — 動いていると推定される — は、再帰的な安定性更新においてペナルティを受ける:

  $$l_s^{(t)} = l_s^{(t-1)} + \mathrm{odds}\left(p_{\text{stable}}\, e^{-\alpha^2/\sigma_\alpha^2}\, e^{-d^2/\sigma_d^2}\right) - \mathrm{odds}(p_{\text{prior}}) - \mathrm{odds}(p_{\text{penalty}}),$$

  そのため数回の観測の後、動いている物体は安定性閾値を下回って除去される一方、静止している可動物体(駐車中の車)は貴重なレジストレーション特徴として残る。

• セマンティックICP: フレーム-モデルの点-平面目的関数は $E = \sum_{u \in \mathcal{V}_D} w_u\, r_u^2$($r_u = \mathbf{n}_u^{\top}\left(\mathbf{T}^{(k)}_{C_{t-1}C_t} \mathbf{u} - \mathbf{v}_u\right)$)となり、以下の重みを用いたGauss–Newton法で解かれる。

  $$w_u^{(k)} = \rho_{\text{Huber}}\left(r_u^{(k)}\right) C_{\text{semantic}}\left(\mathcal{S}_D(u), \mathcal{S}_M(u)\right) \mathrm{I}\{l_s^{(k)} \geq l_{\text{stable}}\},$$

  ここで、スキャンとマップのラベルが一致する場合は $C_{\text{semantic}} = P(y_u|u)$、一致しない場合は $1 - P(y_u|u)$ となる — ネットワーク自身の確信度が、セマンティックに矛盾する対応点をソフトに重み下げする。

• 初期化に関する注意点: 最初のスキャンにおける動的物体は整合性によって検出できない(まだマップが存在しないため)ので、初期化期間中のみすべての可動クラスが除去される。

実験結果

• KITTI road/rawシーケンス30–41(郡道+ハイウェイ; オドメトリベンチマークには含まれておらずセグメンテーション訓練との重複がない)、相対回転誤差(deg/100 m) / 並進誤差(%): SuMaの1.35/6.13 → SuMa++の1.04/1.46(平均)。ハイウェイのシーケンス35: 5.11/26.8 → 2.90/1.11; シーケンス40: 1.09/18.0 → 0.75/1.95; シーケンス41: 1.24/15.6 → 1.14/1.67。
• KITTIオドメトリ訓練セット: SuMaの0.36/0.83 → SuMa++の0.29/0.70(平均)(IMLS-SLAM −/0.55、LOAM −/0.84)。単純なベースライン「SuMa nomovable」は都市シーケンスで発散する(平均23.3/9.24; 例えばシーケンス00: 22.0/58.0) — 駐車中の車を除去すると良好な特徴が破壊されてしまう。
• KITTIテストセット(サーバー側): 並進誤差0.0032 deg/mおよび1.06%であり、元のSuMaの1.39%と比較して優位。
• Xeon W-2123 + Quadro P4000での実行速度: RangeNet++は1スキャンあたり平均75 ms、サーフェルマッピングは48 msで、ループ閉じ込みを統合する場合は最大190 ms。

SLAMにおける意義

SuMa++は、純粋な幾何が交通が密集または低速で動いている場合に苦戦する動的環境の問題に対処するために、深層セグメンテーションネットワークを用いた最初期のLiDAR SLAMシステムの一つである。その主要な実証的な教訓 — 可動クラス全体を削除するのではなく、マップとスキャンのセマンティック整合性によって実際に動くものだけをフィルタリングする — は都市の自動運転SLAMにおける標準的な実践となり、DynaSLAMが視覚SLAMに対して行ったことを反映している。また、レンジ画像を学習によるLiDAR処理の標準的な中間表現として確立し、下流のナビゲーションで利用可能なセマンティックにラベル付けされたサーフェルマップを生み出した。

ハンズオン

• SuMa++を実行する

関連ノート

• SuMa
• Range image
• DynaSLAM
• SemanticFusion
• FAST-LIO2