Patch NetVLAD

Hausler 2021 · 論文

一行要約 — NetVLADの残差からマルチスケールのパッチレベルVLAD記述子を抽出し、空間的検証によって検索候補を再ランキングすることで、視覚的場所認識を視点変化やパーセプチュアルエイリアシングに対してはるかに頑健にする。

問題

視覚的場所認識は、常に変化する世界において見え方の変化（季節、構造、照明）と視点の変化という二つの問題を乗り越えなければならない。NetVLADのようなグローバル記述子は画像全体を単一のベクトルに圧縮し、空間的な配置情報を捨ててしまう——検索は高速だが視点変化・部分的な遮蔽・パーセプチュアルエイリアシングに弱い。完全な局所特徴マッチング（例えばSuperPoint＋SuperGlue）は配置情報を保持するが、大規模データベースに対しては速度が遅すぎる。Patch-NetVLADは、局所記述子手法とグローバル記述子手法の両方の利点を、1つの設定可能なパイプラインの中で組み合わせる。

手法とアーキテクチャ

2段階検索。 まず素のNetVLADがクエリに対する上位$k$個（$k{=}100$）のデータベース候補を検索する；その後パッチレベルマッチングが空間整合性スコアでそのショートリストを再ランキングするため、クロスマッチングのコストは100枚の画像にのみ支払われ、データベース全体には決して支払われない。

パッチレベルVLAD記述子。 NetVLADの集約層は、CNN特徴量 $\mathbf{x}_i$ と $K$ 個の学習済みクラスタ中心 $\mathbf{c}_k$ の間のソフト割り当て残差を合計する：

$$f_{\mathrm{VLAD}}(F)(j,k) = \sum_{i=1}^{N} \bar{a}_k(\mathbf{x}_i)\,\big(x_i(j) - c_k(j)\big)$$

$H \times W \times D$ の特徴マップ全体（$N = H \times W$、グローバルNetVLAD）を集約する代わりに、Patch-NetVLADは同じ集約＋射影 $\mathbf{f}_i = f_{\mathrm{proj}}(f_{\mathrm{VLAD}}(P_i))$ を、特徴空間グリッド上でストライド $s_p$ を持つ密な $d_x \times d_y$ パッチ集合に適用し、

$$n_p = \Big\lfloor \tfrac{H-d_y}{s_p} + 1 \Big\rfloor \cdot \Big\lfloor \tfrac{W-d_x}{s_p} + 1 \Big\rfloor$$

個のパッチを画像ごとに得る——これはキーポイント検出を必要としない、空間位置に紐づいた「局所的にグローバル」な記述子である。

相互最近傍＋空間スコアリング。 クエリ・参照のパッチ記述子は網羅的にクロスマッチングされる；相互最近傍のペア集合 $\mathcal{P}$ は、RANSAC（フィットされたホモグラフィのインライア数、インライア許容度 $s_p$、$n_p$ で正規化）で、あるいはマッチしたパッチの水平・垂直変位 $x_d, y_d$ に対する高速空間スコアリングでスコア付けされる：

$$s_{\mathrm{spatial}} = \frac{1}{n_p} \sum_{i \in \mathcal{P}} \Big( \big|\max_j x_{d,j}\big| - \big|x_{d,i} - \bar{x}_d\big| \Big)^2 + \Big( \big|\max_j y_{d,j}\big| - \big|y_{d,i} - \bar{y}_d\big| \Big)^2$$

これは、平均的な動きから外れたオフセットを持つマッチにペナルティを課す——サンプリングを行わない空間的検証である。

IntegralVLADによるマルチスケール融合。 $n_s$ 個のパッチサイズによるスコアは、凸結合 $s_{\mathrm{spatial}} = \sum_i w_i\, s_{i,\mathrm{spatial}}$ によって融合される（採用された設定：正方形パッチサイズ2、5、8で $w_i = 0.45, 0.15, 0.4$；サイズ5のパッチは640×480画像のうち228×228ピクセルをカバーする）。$1{\times}1$パッチVLADの積分特徴マップ $\mathcal{I}(i,j) = \sum_{i' < i, j' < j} \mathbf{f}^1_{i',j'}$ により、任意のパッチサイズを4回の参照だけで復元できる。これはカーネル $K = \begin{pmatrix} 1 & -1 \\ -1 & 1 \end{pmatrix}$ を用いた膨張深さ方向畳み込みとして実装される。パッチ記述子に対するPCA次元削減により、速度と精度のトレードオフを設定可能にする。

実験結果

6つのベンチマーク（Nordland、Pittsburgh 30k、Tokyo 24/7、Mapillary MSLS、RobotCar Seasons v2、Extended CMU Seasons）にわたる約30万枚の画像で評価し、RobotCar Seasons v2の学習データで一度だけチューニングした単一の設定を使用する：

• グローバル記述子手法のNetVLAD、DenseVLAD、AP-GEMを、平均で絶対R@1でそれぞれ17.5%、14.8%、22.3%上回る；Nordlandの極端な季節変化ではNetVLADに対する差は34.5%に達する（R@1 44.9対10.4）。
• NetVLAD→SuperPoint+SuperGlue再ランキングという楽観的なベースラインを、平均で絶対R@1で3.1%（相対で6.0%）上回る。Nordlandでは絶対15.8%（44.9対29.1）上回るが、Tokyo 24/7とPittsburghの一部ではSuperGlueがわずかに優位である。
• ECCV 2020のFacebook Mapillary Visual Place Recognition Challengeで優勝：非公開テストセットでR@1 48.1%、NetVLADベースライン（35.1%）に対して絶対+13.0%。
• 複数パッチサイズを用いた高速空間スコアリングは、マルチRANSACスコアリングより3.1倍高速でありながらR@1の低下はわずか1.1%に過ぎない；速度最適化された設定は、従来の最先端手法より1桁以上高速に動作する。

SLAMにおける意義

SLAMにおけるループ閉じ込みと再ローカライゼーションは、まさに場所認識問題である：誤ったマッチはポーズグラフを破壊するため、生の検索速度よりもパーセプチュアルエイリアシングに対する頑健性の方が重要になる。Patch-NetVLADの「グローバル検索の後に空間的再ランキングを行う」というレシピは、SLAMのループ閉じ込みフロントエンドに実用的に組み込める手法である——論文自体も明確に「SLAMシステムの全体的な性能」の向上を目標としている——そして長期ローカライゼーションシステムで用いられる階層的検索設計にも影響を与えた。

関連ノート

• NetVLAD — この手法が基盤とするグローバル記述子
• HF-Net — 階層的（粗から精細への）ローカライゼーションパイプライン
• hloc — このレシピが組み込まれる検索後マッチング型ローカライゼーションツールキット
• SuperGlue — 精度が速度よりも重要な場合に使われる完全な局所特徴マッチング
• Visual Place Recognition (VPR) — この論文が対象とするタスク