FlowNet3D

Liu 2019 · 論文

一行要約 — 点群に対する3Dシーンフローを扱う初のエンドツーエンド深層ネットワーク。PointNet++バックボーンに、新規のフロー埋め込み層とset upconv層を組み合わせ、各点の3Dモーションベクトルを予測する。

問題

ロボティクスやヒューマン・コンピュータ・インタラクションでは、動的環境中の点の3Dモーション — シーンフロー — を理解する必要があるが、従来手法の多くはステレオやRGB-D画像からこれを推定しており、点群上で直接行う試みはほとんどなかった。LiDAR点群はスパースで順序を持たず、格子構造を持たないため、標準的なCNN(および画像空間の光学フローアーキテクチャ)は適用できない。従来の点群パイプラインは、剛体性や対応関係の仮定を伴う手作りの特徴量を用いていた。FlowNet3Dは、生の点群ペアから点ごとの3Dモーションをエンドツーエンドで学習する方法を問う。

手法とアーキテクチャ

クラウド $\mathcal{P} = \{x_i\}_{i=1}^{n_1}$ と $\mathcal{Q} = \{y_j\}_{j=1}^{n_2}$($x_i, y_j \in \mathbb{R}^3$、対応関係なし、サイズが異なる場合もある)が与えられたとき、フレーム1の各点についてフロー $d_i = x_i' - x_i$ を予測する。ネットワークは3つのモジュール — 点特徴学習、点混合、フロー精緻化 — から構成され、これらは3種類の層から構築される。

• Set convレイヤー(PointNet++のset abstraction):最遠点サンプリングにより$n'$個の領域中心 $x_j'$ を選び、半径$r$の各近傍を対称関数で集約する

$$f_j' = \underset{\{i \,:\, \lVert x_i - x_j' \rVert \le r\}}{\mathrm{MAX}} \big\{ h(f_i,\ x_i - x_j') \big\}$$

ここで$h$はMLP、MAXは要素ごとの最大値プーリングであり、不規則データ上で階層的かつ並進不変な幾何特徴を与える。

• フロー埋め込みレイヤー(新規レイヤー#1):フレーム1の各点$p_i$について、厳密な対応関係が存在することは稀であるため、この層は近傍内のフレーム2の全点から「フロー投票」を集約する。

$$e_i = \underset{\{j \,:\, \lVert y_j - x_i \rVert \le r\}}{\mathrm{MAX}} \big\{ h(f_i,\ g_j,\ y_j - x_i) \big\}$$

両点の特徴量を$h$に入力すること(固定の特徴距離ではなく)により、ネットワークが変位候補 $y_j - x_i$ の重み付け方法を学習できるようになる。埋め込みはその後、さらにset convレイヤーで混合され、空間的滑らかさが得られる(大きな受容野は、並進しているテーブル上の点のような曖昧なケースを解決する)。

• Set upconvレイヤー(新規レイヤー#2):set convと同じ式だが、サンプリングされた中心ではなく指定されたターゲット位置で評価され、フロー埋め込みを元の$n_1$点すべてに逆伝播することを学習する — 3D補間の逆距離重みではなく、特徴関係によって近傍を重み付けする。

最終的なアーキテクチャは、4つのset convレイヤー、1つのフロー埋め込みレイヤー、4つのset upconvレイヤー(スキップ接続付き)、そして$\mathbb{R}^3$のフローを回帰する線形層から構成される。学習にはスムーズ$L_1$フロー教師信号に加え、ワープされたクラウドから予測される後方フロー$d_i'$に対するサイクル一貫性項を用いる。

$$L = \frac{1}{n_1} \sum_{i=1}^{n_1} \Big( \lVert d_i - d_i^* \rVert + \lambda \lVert d_i' + d_i \rVert \Big)$$

$\lambda = 0.3$とする。推論時には、サンプリングノイズを減らすため、クラウドをランダムに再サンプリングして複数回(10回)実行し、予測フローを平均化する。

実験結果

• FlyingThings3D(訓練20,000ペア/テスト2,000ペア、視差+フローを点群に変換したもの;評価指標は3D EPEと精度):画像ベースの深度マップ上FlowNet-C、グローバルICPベースライン、および初期/後期/深層混合の点群ベースラインより、EPEは大幅に低く精度も大幅に高い。アブレーション:最大値プーリングは平均プーリングを明確に上回る;学習された2特徴の$h$はコサイン距離バリアントを上回る(誤差11.6%削減);set upconvは3D補間を上回る(フロー誤差20%削減);再サンプリングとサイクル一貫性がさらに性能を向上させる。
• KITTIシーンフロー(LiDAR付き150フレーム、モデルは合成データのみで学習):RGB-Dベース手法の中で従来手法PRSMに対して相対3D EPEを63%削減し、グローバルICPおよびセグメンテーションICPベースラインより低い誤差を達成 — 強力なsim-to-real汎化性を示す。地面点を含めると、FlowNet3D+ICPはEPEでPRSMを上回り、実スキャン100枚でのファインチューニングでさらに結果が改善する。
• 応用:部分スキャンの位置合わせ(局所解に陥りやすいICPより頑健)や、移動する車を地面や静的物体からきれいに分離するモーションセグメンテーションに、密なシーンフローが用いられる。

SLAMにおける意義

FlowNet3Dは点群上の深層シーンフロー推定の基礎を築いた。これはLiDAR SLAMシステムが動的物体を検出・処理する方法であり、マッピングが依拠すべき静的構造から移動する車両や歩行者を分離する。その順序のない点集合に対するソフト対応関係レイヤーは、後続の一群の手法(PointPWC-Net、FLOT、FastFlow3D)に影響を与え、RGB-D側の画像ベースシーンフロー(RAFT-3Dなど)を補完するものである。その位置合わせとモーションセグメンテーションのデモは、SLAMシステムがシーンフローをどう使うかをまさに先取りしている。

関連ノート

• FlowNet — 名前を継承した2D光学フローの先祖
• RAFT-3D — 剛体運動構造を用いたRGB-D画像からのシーンフロー
• RAFT — 現代的な密な2D対応関係のバックボーン
• LiDAR — このネットワークが処理対象とする点群を生成するセンサー
• 3D-3D correspondence — このネットワークがソフト化しようとする古典的なマッチング問題