DISK

Tyszkiewicz 2020 · 論文

一行要約 — 離散的な特徴点選択を、正しいダウンストリームマッチ数を報酬とする確率的ポリシーとして扱い、ポリシー勾配を用いて特徴点検出器と記述子をエンドツーエンドで同時に学習する。

問題

局所特徴フレームワークは、疎な特徴点を選択・マッチングすることに内在する離散性のためにエンドツーエンドで学習するのが難しい：NMSとtop-$k$選択は非微分可能である。従来手法はこれを代理損失や不正確な近似で回避してきた——SuperPointのホモグラフィ適応、R2D2の信頼度マップ、記述子空間の仮定——だがそのどれも、実際に重要なもの、すなわち正しいマッチ数を直接最適化してはいない。DISK（DIScrete Keypoints）は代わりに強化学習を活用し、学習と推論の枠組みを近づけたままにするのに十分な表現力を持つ確率モデルを用い、初期状態から確実に収束する。

手法とアーキテクチャ

U-Net（4つのダウン/アップブロック、110万パラメータ、受容野219×219）が画像$I$を検出ヒートマップ$K$と密な$N{=}128$次元の記述子マップにマッピングする。期待報酬の勾配を推定できるよう、下流の全てが分布として定義される。

特徴分布。 ヒートマップは$h \times h$のグリッドセル（$h{=}8$）に分割される；セル$u$あたり最大1つの特徴が、ヒートマップの切り出し$K^u$からサンプリングされる。画素$\mathbf{p}$は相対確率で提案され、その後絶対確率で受理される：

$$P(\mathbf{p} \mid K^u) = \mathrm{softmax}(K^u)_\mathbf{p} \cdot \sigma(K^u_\mathbf{p})$$

ここで$\sigma$はシグモイドである。受理された位置は、その画素の$\ell_2$正規化された記述子を取る。推論時にはsoftmaxはargmaxになり、シグモイドは符号関数になり、さらにヒートマップに対してNMSが適用される。

マッチ分布。 サイクル一貫マッチングは緩和される：記述子距離行列$\mathbf{d}$を用いて、順方向マッチは$P_{A \to B}(j \mid \mathbf{d}, i) = \mathrm{softmax}(-\tau\, \mathbf{d}(i,\cdot))_j$から引かれる（逆方向は列から同様に）；両方向がサンプリングされた場合に$i \leftrightarrow j$がマッチする。マッチ確率は閉形式を持つ：$P(i \leftrightarrow j) = P_{A \to B}(j \mid \mathbf{d}, i) \cdot P_{B \to A}(i \mid \mathbf{d}, j)$。したがってマッチングは勾配推定に分散を追加しない——これが安定した収束の鍵である。

報酬。 $R(M_{AB}) = \sum_{(i,j)} r(i \leftrightarrow j)$、正しいマッチ（両点がその深度ベースの再投影から$\epsilon$画素以内）には$\lambda_{\mathrm{tp}} = 1$、不正なマッチには$\lambda_{\mathrm{fp}} = -0.25$、「妥当な」マッチ（深度なしだがエピポーラ距離が$\epsilon$未満）には中立、そしてマッチ不能な雑然としたものを避けるために小さな特徴点あたりのペナルティ$\lambda_{\mathrm{kp}} = -0.001$を加える。

勾配推定器（REINFORCE風、マッチについては厳密）。 特徴分布から$F_A, F_B$がサンプリングされる場合：

$$\nabla_\theta \mathbb{E}_{M_{AB}} R(M_{AB}) = \mathbb{E}_{F_A, F_B} \sum_{i,j} P(i \leftrightarrow j \mid F_A, F_B, \theta_M)\, r(i \leftrightarrow j)\, \nabla_\theta \Gamma_{ij}$$

$$\Gamma_{ij} = \log P(i \leftrightarrow j \mid F_A, F_B, \theta_M) + \log P(F_{A,i} \mid A, \theta_F) + \log P(F_{B,j} \mid B, \theta_F)$$

学習。 MegaDepthのサブセット（135シーン、6.3万枚の画像、COLMAPの姿勢/深度）；共視な画像の三つ組がバッチ要素あたり3ペアを与える；画像は768px；Adam、学習率$10^{-4}$；$\lambda_{\mathrm{fp}}$と$\lambda_{\mathrm{kp}}$は最初の5エポックにわたって0からアニールされる。これはランダム初期化されたネットワークが何も検出しないように仕向けられてしまうのを防ぐためである。

実験結果

• Image Matching Challenge 2020（9つの隠されたテストシーン、10°でのmAA）：2k特徴カテゴリでDISKはステレオmAA 0.5132、マルチビューmAA 0.7271に達し、リーダーボードの全手法をそれぞれ相対9.4%、6.7%上回り、RANSACインライアは約50%多い；8k特徴では、ステレオ0.5585とマルチビュー0.7502で、全てのベースラインを上回り、上位3つのチューニングされた提出には僅かに及ばない。学習型マッチャーの提出の中では、単純な$\ell_2$マッチングを用いたDISKはSuperGlueに次ぐ2位に位置する。
• HPatches： 最先端のMMA——視点シーンで1位、照明で2位（DELFに次ぐ）、最も近い競合であるReinforced Feature Pointsを、5画素までのAUCで相対12%上回る。
• ETH-COLMAP SfMベンチマーク： SIFTよりも多くのランドマーク、より長いトラック、同程度の再投影誤差を持つ；「Fountain」での上限なしの実行では6.7万個のランドマークが得られる。
• 特徴は判別性を保ったまま非常に密に抽出できる。DISKは学習時に見られた面内回転にはロバストだが、学習で見ていない大きな回転では性能が劣化する（データ拡張で修正可能）。

SLAMにおける意義

DISKは、マッチング成功を直接最適化することが手作業で設計された代理損失を上回ることを証明し、SuperPointやR2D2と並ぶ標準的な学習型フロントエンド特徴の1つとなった。その空間的に均一な特徴点の分布は、画像全体にわたる制約を必要とするSLAMシステムに利益をもたらし、LightGlueで特徴バックボーンとしてサポートされているため、hlocローカライゼーションパイプラインでプラグアンドプレイの選択肢となっている。

関連ノート

• SuperPoint — 自己教師あり型の検出器/記述子の代替手法
• R2D2 — 信頼度を意識した検出、「どこを検出するか」への別の答え
• HardNet — DISKが基盤とする記述子損失設計の系譜
• LightGlue — DISKをネイティブサポートするマッチャー
• hloc — DISKが組み込めるローカライゼーションパイプライン
• DeDoDe — 検出を記述から分離する後発の再考