PointFusion / DenseFusion

Xu 2018 · 論文 / Wang 2019 · 論文

一行要約 — 画像特徴と点群特徴を点ごとに融合する、影響力のある2つのRGB-D物体姿勢ネットワークであり、物体レベルSLAMシステムが基盤とする学習型の物体フロントエンドを形成する。

問題

RGB-Dデータから3次元物体姿勢を推定するには、非常に異なる2つのモダリティ——密で外観情報が豊富な画像と、疎だが計量的に正確な3次元点——を組み合わせる必要がある。既存の手法は多段階のパイプラインを用いるか、センサー・データセット固有の仮定を組み込んでいた(例えば深度を追加の画像チャンネルに畳み込んでしまう、あるいは歩行者や屋内の雑然とした場面では失敗する俯瞰LiDARビューを用いるなど)。また、事後的なICP精密化は、精度の高い手法をリアルタイム利用には遅すぎるものにしていた。必要とされていたのは、各モダリティをそれに適したネットワークで処理し、結果を融合する——部分的に遮蔽された物体でも、可視な断片から姿勢を推定できるように点ごとに——という、コンセプト的に単純なアーキテクチャであった。

手法とアーキテクチャ

**PointFusion(Xu 2018)**は2段階の3D検出器である: 既製の2D検出器(Faster R-CNN)がクロップを提供し、各クロップに対してResNet-50が画像特徴を抽出する一方、PointNetバリアント(バッチ正規化を除去——回帰では絶対的な点座標が重要である。入力は、クロップの視線をカメラのz軸に合わせる回転RcR_cによって正規化される)が最大400個の生の3次元点を処理する。グローバル融合ベースラインは2つの特徴を連結し、損失L=∑ismoothL1(xi∗,xi)+LstnL = \sum_i \mathrm{smoothL1}(\mathbf{x}_i^{*}, \mathbf{x}_i) + L_{\mathrm{stn}}で8つのボックス頂点を直接回帰する。新規性のある密アーキテクチャは、代わりに入力の各点を空間的アンカーとして用いる: 各点の特徴(グローバルな点特徴と画像特徴とともに連結されn×3136n \times 3136のテンソルとなる)は、自身から8つの頂点へのオフセットと信頼度cic_iを予測し、教師なしのスコアリング損失で訓練される。

L=1N∑i(Loffseti⋅ci−wlog⁡ci)+Lstn,w=0.1L = \frac{1}{N} \sum_i \big( L^{i}_{\mathrm{offset}} \cdot c_i - w \log c_i \big) + L_{\mathrm{stn}}, \qquad w = 0.1

これにより、ネットワークはどの点が良い仮説をもたらすかを学習する。テスト時には、最も高いスコアを持つ点のボックスが採用される。相対オフセットを予測することで、回帰対象からシーンスケールの分散(運転シナリオでは1 mから100 m以上)が除かれる。

**DenseFusion(Wang 2019)**は、この考え方を既知物体の6自由度姿勢推定に適用する: セグメンテーションネットワークが各物体を分離し、CNNエンコーダ・デコーダがRGBクロップをピクセルごとの外観埋め込みに写像し、PointNet風のネットワーク(平均プーリング)がマスクされた深度点をそれぞれ点ごとの幾何埋め込み(いずれも128次元)に写像する。融合はピクセル単位で行われる——各点の幾何特徴は、それが投影されるピクセルにおける画像特徴と連結され、グローバルにプーリングされた特徴で拡張される——そして、各融合特徴は信頼度cic_iとともに完全な姿勢p^i=[R^i∣t^i]\hat{p}_i = [\hat{R}_i \mid \hat{t}_i]を予測する。ピクセルごとの姿勢損失はモデル点の距離である。

Lip=1M∑j∥(Rxj+t)−(R^ixj+t^i)∥L^{p}_{i} = \frac{1}{M} \sum_j \| (R x_j + t) - (\hat{R}_i x_j + \hat{t}_i) \|

(対称物体については、最も近い変換後モデル点への距離)、これは上記と全く同じ形式で組み合わされる: L=1N∑i(Lipci−wlog⁡ci)L = \frac{1}{N}\sum_i (L^{p}_{i} c_i - w \log c_i)、w=0.01w = 0.01。微分可能な反復精密化モジュールが事後的なICPに取って代わる: 点群は現在推定されている正準フレームに変換され(こうして入力が推定結果を反映する)、残差姿勢が予測され、K=2K = 2回の反復の後、最終的な姿勢は合成p^=[RK∣tK]⋯[R0∣t0]\hat{p} = [R_K \mid t_K] \cdots [R_0 \mid t_0]として得られる——主ネットワークが収束した後は、エンドツーエンドで訓練可能である。

実験結果

PointFusionは、同一のアーキテクチャとハイパーパラメータで、KITTIとSUN-RGBDの両方において最先端と同等以上の性能を達成した最初のモデルであった。KITTIの車両クラス(AP3DAP_{3D}、easy/moderate/hard)では、全クラスモデルが77.92/63.00/53.27を記録し、MV3Dの71.29/62.68/56.56を上回る。歩行者(33.36/28.04/23.38)と自転車利用者(49.34/29.42/26.98)ではMV3Dを大差で上回る。密アンカー設計は、グローバルベースラインをおおよそ2倍に高める(車両のeasy APが43.29 → 74.71)。SUN-RGBD(IoU 0.25)では、1.3秒/フレームで45.38 mAPに達し、DSSの19.6秒で42.1、COGの10〜30分で47.63と比較される。DenseFusionは、YCB-Video(ADD-S)において、反復精密化によって93.1 AUC / 96.8%<2cmに達し、PoseCNN+ICP(93.0 / 93.2)を上回りつつ、約200倍高速(1フレームあたり0.06秒対10.6秒、16 FPS)であり、PointFusionのグローバル融合(83.9 / 74.1)を大きく上回る。遮蔽が増しても、その精度低下はわずか約2%であるのに対し、PoseCNN+ICPとPointFusionは急激に劣化する。LineMODでは、平均ADD 94.3(精密化なしでは86.2)に達する。実際のロボットに展開した場合、その姿勢推定は60回の試行のうち73%の把持成功率をもたらす。

SLAMにおける意義

物体レベルSLAMには、生のRGB-Dを信頼できる6自由度物体観測に変換する手段が必要であり、PointFusion/DenseFusionの系譜はその役割のための標準的な学習型アーキテクチャ——異種のCNN + PointNet特徴抽出、点ごとの融合、信頼度重み付きの姿勢回帰——を確立した。これは古典的パイプラインにおけるRANSACの役割を反映する暗黙的なロバスト推定器である。MoreFusionのようなシステムは、まさにこの様式の学習型姿勢予測を、マルチビュー・衝突考慮の精密化のための初期化として用いており、現代の物体SLAMパイプラインの多くはそのフロントエンドにこれらのネットワークの後継を備えている可能性が高い。

関連ノート