PWC-Net

Sun 2018 · 論文

一行要約 — 3つの古典的原理 — Pyramid(ピラミッド)、Warping(ワーピング)、Cost volume(コストボリューム) — を基盤に構築されたコンパクトなオプティカルフローネットワークで、FlowNet2より17倍小さく推論も2倍速い一方、主要ベンチマークでより高精度である。

問題

FlowNetはオプティカルフローがエンドツーエンドに学習可能であることを示したが、古典的手法の精度に到達するにはFlowNet2 — 640MBのメモリフットプリントを持ち、過学習を避けるためサブネットワークを逐次的に学習させる必要のあるネットワークの積み重ね — が必要だった。

数十年にわたる古典的フロー研究は、フロー推定を機能させる要因をすでに特定していた: 粗から密へのピラミッド、画像ワーピング、マッチングコストボリューム。PWC-Netは、これらの単純で確立された原理をアーキテクチャに組み込むことで、より小さく、学習しやすく、力任せのネットワーク積み重ねよりも高精度なモデルを作れるかどうかを問うた。

手法とアーキテクチャ

• 学習可能な特徴ピラミッド: 共有エンコーダが $L$ レベルのピラミッド(7レベル使用)を構築し、レベルごとに2倍ダウンサンプリングし、レベル1〜6の特徴チャネル数は16、32、64、96、128、196である。ゼロレベルは入力画像そのものである。生ピクセルは影や照明変化に対して不変でないため、学習された特徴が固定の画像ピラミッドに代わる。
• ワーピング層: レベル $l$ において、2番目の画像の特徴が、レベル $l{+}1$ からのフローを2倍アップサンプリングしたものを用いて最初の画像へワーピングされる:

$$c_w^l(\mathbf{x}) = c_2^l\big(\mathbf{x} + \mathrm{up}_2(\mathbf{w}^{l+1})(\mathbf{x})\big)$$

これはバイリニア補間(微分可能)で実装され、各レベルは残差運動のみを推定する — 大きな変位はピクセル単位では小さくなる粗いレベルで処理される。

• 部分コストボリューム: マッチングコストは、最初の画像の特徴とワーピングされた2番目の画像の特徴との相関であり、

$$\mathbf{cv}^l(\mathbf{x}_1, \mathbf{x}_2) = \frac{1}{N}\, c_1^l(\mathbf{x}_1)^\top c_w^l(\mathbf{x}_2), \qquad |\mathbf{x}_1 - \mathbf{x}_2|_\infty \le d$$

レベルごとに探索範囲 $d = 4$ ピクセル内でのみ計算される — 最上位レベルでの1ピクセルの動きはフル解像度で $2^{L-1}$ ピクセルに相当するため、極めて狭い範囲で十分である。ワーピング層とコストボリューム層には学習可能パラメータが一切なく、モデルを縮小している。

• オプティカルフロー推定器: 多層CNN(チャネル数128、128、96、64、32、任意でDenseNet接続あり)がコストボリューム、最初の画像の特徴、アップサンプリングされたフローを受け取り、各レベルでフローを予測する(レベルごとに別の重み)。推定はレベル $l_0 = 2$(すなわち4分の1解像度)で停止し、その後バイリニアアップサンプリングされる。
• コンテキストネットワーク: 7つのdilated 3x3畳み込み(dilation定数1、2、4、8、16、1、1)が大きな受容野でフローを後処理し、古典的な中央値/バイラテラルフィルタリングの役割を担う。
• 学習: FlowNetのマルチスケール損失 $\mathcal{L}(\Theta) = \sum_{l=l_0}^{L} \alpha_l \sum_{\mathbf{x}} |\mathbf{w}_\Theta^l(\mathbf{x}) - \mathbf{w}_{GT}^l(\mathbf{x})|_2 + \gamma |\Theta|_2$ をFlyingChairs、続いてFlyingThings3D(FlowNet2の $S_{long}$/$S_{fine}$ スケジュール)で用い、その後ベンチマークでのファインチューニングを、外れ値の重みを下げる $q < 1$ を持つロバスト損失 $\sum_l \alpha_l \sum_{\mathbf{x}} \big(|\mathbf{w}_\Theta^l(\mathbf{x}) - \mathbf{w}_{GT}^l(\mathbf{x})| + \epsilon\big)^q + \gamma|\Theta|_2$ で行う。

実験結果

• MPI Sintel finalパス(テスト): EPE 5.04(PWC-Net-ft-final)/5.13(PWC-Net-ft) — 執筆当時、公開されているすべての手法より低い(FlowNet2-ft: 5.74、DCFlow: 5.12)。エンドツーエンド手法がこのベンチマークで洗練された古典的手法を初めて上回った例であり、かつ上位手法の中で最も高速である。
• KITTI 2015(テスト): Fl-all 9.60%であり、公開されているすべての2フレームフロー手法を上回る(FlowNet2-ft: 10.41%)。KITTI 2012ではFl-Noc 4.22%で、剛体背景を仮定するSDFに次ぐ2位。
• サイズと速度: FlowNet2より17倍小さく、推論は2倍速い。SpyNetやFlowNet2より学習しやすい。Sintel解像度(1024x436)の画像で約35fps。DenseNet接続を除いたもの(PWC-Net-small)は約5%の精度を犠牲にして40%の速度向上を得る。

SLAMにおける意義

密なオプティカルフローは、直接/密なSLAMフロントエンドのデータ対応付け、動的物体推論、自己教師あり深度学習にデータ対応を提供する。PWC-Netは高品質なフローをリアルタイムロボティクスパイプラインで実用的なコストにし、pyramid-warp-cost-volume設計を標準的な深層フローアーキテクチャとして確立した — これは後にRAFTのall-pairs相関が定義される際の比較基準となった。その粗から密への限界(小さく速く動く物体が粗いレベルで消失し、粗いレベルの誤りが固定されてしまう)は、まさにRAFTが解決しようとした失敗モードである。

関連ノート

• FlowNet — 最初のエンドツーエンド深層オプティカルフローネットワーク
• FlowNet 2.0 — PWC-Netが縮小した大規模スタック型の前身
• RAFT — 粗から密への設計を置き換えたall-pairs後継手法
• SEA-RAFT — 効率重視のフロー系譜の現在の到達点