MoreFusion

Wada 2020 · 論文

一行要約 — RGB-D動画を物体単位の占有ボリュームに融合し、微分可能な衝突チェックを用いて複数の既知物体の6D姿勢を同時に精密化することで、接触・遮蔽下にある物体の高精度な姿勢推定を可能にする手法。

問題

単一のRGB-D画像からの6D物体姿勢推定は、遮蔽と曖昧性によって根本的に制限される: 他の物体の背後に部分的に隠れた物体は1視点から完全に位置決めできず、対称な物体は複数の妥当な姿勢を許容する。したがって単一視点手法は、まさに実用上最も重要なシナリオ——物体が接触し互いを遮蔽する、ロボット操作では標準的な、雑然としたシーン——でこそ失敗する。マルチビュー情報はこの問題への自然な解決策だが、フレームごとの姿勢候補を単純に蓄積すると物体が相互に貫通する物理的にありえない状態を生み出す。物理を考慮した同時最適化が必要とされる。

手法とアーキテクチャ

このシステムは、ライブのRGB-Dストリーム(カメラ姿勢はロボットの順運動学、あるいは手持ちの場合はORB-SLAM2から得る)に対して4段階を実行する。

  1. 物体レベルの体積融合 — Mask R-CNNが各フレームでインスタンスマスクを生成し、マスクされた深度は物体ごとのオクツリー占有マップ(OctoMap)に融合される。検出された物体ごと、および認識されなかった背景構造ごとに1つのボリュームが用意される。インスタンスは、検出マスクとレンダリングされたマスクの間のIoUによってフレーム間で追跡される。これにより、各物体の幾何情報が複数視点から蓄積され、加えて自由/未知空間の情報も得られる。
  2. 体積的な姿勢予測 — 各対象物体は32×32×3232\times32\times32の占有グリッドを持ち、そのボクセルは自己/他物体/自由/未知(gself,gother,gfree,gunknowng^{\mathtt{self}}, g^{\mathtt{other}}, g^{\mathtt{free}}, g^{\mathtt{unknown}})にラベル付けされる。あるネットワークが、マスクされたRGBからのResNet-18特徴、マスクされた点群の点単位符号化、それらの特徴のボクセル化、そして連結された特徴+占有グリッドに対する3D CNNを組み合わせ、信頼度付きの点単位姿勢を予測する。訓練には、モデル点pq∈Xp_q \in Xに対するDenseFusion式の姿勢損失を用いる。 Li=1∣X∣∑q∥(Rpq+t)−(R^ipq+t^i)∥,L=1N∑i(Lici−λlog⁡ci)L_{i}=\frac{1}{|X|}\sum_{q}\lVert(\mathtt{R}p_{q}+\mathbf{t})-(\hat{\mathtt{R}}_{i}p_{q}+\hat{\mathbf{t}}_{i})\rVert, \qquad L=\frac{1}{N}\sum_{i}\big(L_{i}c_{i}-\lambda\log c_{i}\big) λ=0.015\lambda=0.015を用いる。対称物体については、対応関係がpq′p_{q'}にわたる最近傍のminとなり、対称損失が非凸形状で陥る局所最小値を避けるため、標準損失によるウォームアップエポックが用いられる。
  3. 衝突ベースの姿勢精密化 (ICC) — すべての物体の姿勢が、微分可能な占有ボクセル化を通じた勾配降下法によって同時に精密化される: 姿勢仮説によって変換されたCADモデルの点pqp_qはボクセル座標uq=(pq−l)/su_{q}=(p_{q}-l)/sに写像され、ボクセルkkは占有度ok=1−δk/δto_{k}=1-\delta_{k}/\delta^{t}を得る。ここでδk=min⁡(δt,min⁡q∥uq−vk∥)\delta_{k}=\min(\delta^{t},\min_{q}\lVert u_{q}-v_{k}\rVert)である。周囲の物体の仮説は要素ごとの最大値で集約され、融合された貫通不可能な空間gmimpen=gmother∪gmfreeg^{\mathtt{impen}}_{m}=g^{\mathtt{other}}_{m}\cup g^{\mathtt{free}}_{m}と結合される。損失は貫通不可能な空間との交差にペナルティを与える一方で、物体自身の融合済み表面との重なりを促進する。 L=1N∑m(Lmc+−Lmc−),Lmc+=∑kgmtarget⊙gmtarget−∑kgmtarget,Lmc−=∑kgmtarget⊙gmself∑kgmselfL=\frac{1}{N}\sum_{m}\big(L_{m}^{\mathtt{c+}}-L_{m}^{\mathtt{c-}}\big), \quad L_{m}^{\mathtt{c+}}=\frac{\sum_{k} g^{\mathtt{target}}_{m}\odot g^{\mathtt{target-}}_{m}}{\sum_{k}g^{\mathtt{target}}_{m}}, \quad L_{m}^{\mathtt{c-}}=\frac{\sum_{k} g_{m}^{\mathtt{target}}\odot g_{m}^{\mathtt{self}}}{\sum_{k}g_{m}^{\mathtt{self}}} これはGPU上でバッチ処理される——接触している物体は互いを制約し合う。
  4. CADアライメント — 直近のNN個の視点ごとの仮説間のペアワイズ姿勢損失が閾値内で一致すると、CADモデルがその合意された姿勢でマップに生成され、それまでの中間的な体積表現に取って代わる。

実験結果

YCB-Videoと、著者らが作成したより難易度の高い物理シミュレーションベースのCluttered YCBデータセット(1200シーン × 15フレーム)において、ADD(-S)/ADD-S AUC(最大閾値10 cm)で評価された。再実装されたベースラインであるDenseFusion*(ウォームアップ損失+点群の中心化)は、公式のDenseFusionをYCB-Videoにおいて83.9/90.9から89.1/93.3へすでに引き上げている。結合データセットで訓練したMoreFusionは、YCB-Videoで91.0/95.7に達し(DenseFusion*は88.4/94.9)、Cluttered YCBでは83.4/92.3(対81.7/91.7)を達成する。この差は強い遮蔽下(可視性30%未満)で拡大する: 63.5/85.1対59.7/83.8。テスト時により豊富な占有コンテキスト(非対象物体全体と背景の再構成)を与えると、85.5/93.8までさらに向上する——これはまさに逐次的なマッピングシステムが蓄積する情報である。精密化については、Iterative Collision Checkが強い遮蔽下でICPを上回り、組み合わせであるICC+ICPが一貫して最良である(ICCが離散化されたグリッド内で衝突を解消し、その後ICPが表面を精密に位置合わせする)。目玉となる実証は、オンボードのRGB-Dビジョンのみを用いて、複雑に積み重なった物体の山を分解する——目標物体に到達するために遮蔽している物体を移動させる——リアルタイムのロボットアームである。

SLAMにおける意義

MoreFusionはセマンティックSLAMをロボット操作へと結びつける: 接触し遮蔽し合う物体がある雑然としたテーブル上のシーンは、まさに単一視点の6D姿勢推定器が失敗し、SLAM式のマルチビューかつマップ中心のアプローチが真価を発揮する領域である。これはFusion++の物体単位ボリュームという発想を、再構成から精密な6D姿勢推定へと拡張しており、その衝突を考慮した同時最適化は、相互遮蔽への原理的な対処法であり、後発の物体レベルおよび操作指向のシステムがこれを基盤としている。

関連ノート