R2D2

Revaud 2019 · 論文

一行要約 — 密な記述子と並行して明示的な*repeatability(再現性)マップとreliability(信頼性)*マップを共同で学習し、実際にマッチング可能な場所でのみ特徴点を検出する。

問題

古典的な局所特徴は検出してから記述するというパラダイムに従う: 手作りの検出器が再現性のある特徴点を見つけ、別の記述子がそれを表現する。学習ベースの手法はこれに追いついており — 検出のための再現性のあるサリエンシーマップ、それらの位置でのメトリック学習された記述子 — しかしR2D2は、これが2つの異なる性質を混同していると主張する。サリエントな領域は必ずしも識別的ではない: チェッカーボードのすべての正方形、ファサードのすべての窓、樹木の葉、海の波は一貫して検出されるものの、自己相似性のためにマッチングが曖昧になる。記述子は、高い確信を持ってマッチングが行える場所でのみ信頼されるべきであり(そして特徴点もそこでのみ検出されるべきである)。

手法とアーキテクチャ

1つのFCNからの3つの密な出力。 H×WH \times W の画像に対して、ネットワークは以下を予測する: 密なL2正規化128次元記述子 X\boldsymbol{X}、局所最大値が特徴点候補となる再現性ヒートマップ S∈[0,1]H×W\boldsymbol{S}\in[0,1]^{H\times W}、そして各記述子の識別性を推定する信頼性マップ R∈[0,1]H×W\boldsymbol{R}\in[0,1]^{H\times W} である。バックボーンはL2-Netであり、最終的な8x8畳み込みが3つの2x2畳み込みに置き換えられている(重みが5分の1に削減)。S\boldsymbol{S} と R\boldsymbol{R} は要素ごとの2乗、1x1畳み込み、128次元出力に対するsoftmaxから得られる。

再現性: 自己教師あり コサイン類似度。 密な正解対応関係 UU を持つ画像 I,I′I, I' と、UU でワーピングされた2番目のヒートマップ SU′\boldsymbol{S}'_U が与えられた場合、マップはすべての N×NN\times N パッチ P\mathcal{P} にわたってパッチごとに整合される:

Lcosim(I,I′,U)=1−1∣P∣∑p∈Pcosim(S[p],SU′[p])\mathcal{L}_{cosim}(I,I',U)=1-\frac{1}{|\mathcal{P}|}\sum_{p\in\mathcal{P}}cosim\bigl(\boldsymbol{S}\left[p\right],\boldsymbol{S}'_{U}\left[p\right]\bigr)

自明な定数解を防ぎ、NNによって特徴点密度を設定するピーキネス損失:

Lpeaky(I)=1−1∣P∣∑p∈P(max⁡(i,j)∈pSij−mean(i,j)∈pSij)\mathcal{L}_{peaky}(I)=1-\frac{1}{|\mathcal{P}|}\sum_{p\in\mathcal{P}}\Bigl(\max_{(i,j)\in p}\boldsymbol{S}_{ij}-\mathrm{mean}_{(i,j)\in p}\boldsymbol{S}_{ij}\Bigr)

これらを組み合わせて Lrep=Lcosim+λ(Lpeaky(I)+Lpeaky(I′))\mathcal{L}_{rep}=\mathcal{L}_{cosim}+\lambda\left(\mathcal{L}_{peaky}(I)+\mathcal{L}_{peaky}(I')\right) とする。

信頼性: 学習された確信度を持つAPランキング損失。 記述子マッチングはランキング問題として扱われる: 各クエリピクセルについて、triplet/contrastive代替損失ではなく、2番目の画像内の候補に対するAverage Precisionの微分可能な近似を直接最適化する。重要なのは、ネットワークが識別性のない領域では「不参加」を選べる点である:

LAPκ(i,j)=1−[AP(i,j) Rij+κ (1−Rij)]\mathcal{L}_{AP\kappa}(i,j)=1-\bigl[AP(i,j)\,\boldsymbol{R}_{ij}+\kappa\,(1-\boldsymbol{R}_{ij})\bigr]

ここで κ=0.5\kappa=0.5 は最小期待APである: 最適解は AP(i,j)<κAP(i,j)<\kappa の場所で Rij=0\boldsymbol{R}_{ij}=0、それ以外で1となるため、R\boldsymbol{R} は解釈可能なマッチング可能性の確率となる。

学習データと推論。 密な対応関係は、Web画像に対するランダムなホモグラフィから無料で得られるほか、Aachenの画像ペア(SfMで検証済み)に対するオプティカルフローパイプライン(エピポーラ制約付きDeepMatchingを用いたEpicFlow、マッチング密度でマスク)からも得られる — 手動ラベルは一切不要である。テスト時にはネットワークがスケールピラミッド上で実行され(21/42^{1/4}でダウンサンプリング)、特徴点は S\boldsymbol{S} の局所最大値であり、上位 KK 個が結合スコア SijRij\boldsymbol{S}_{ij}\boldsymbol{R}_{ij} によって保持される。

実験結果

SLAMにおける意義

誤ったマッチングは、繰り返し構造(通路、ファサード、植生)下での特徴ベースSLAMの主要な失敗モードである。R2D2は信頼性を考慮した特徴点選択 — 量より質 — の原則を確立し、これは後の検出器/記述子設計や、現代のパイプラインがローカリゼーションと3D再構成のために対応関係をスコア付け・フィルタリングする方法に受け継がれた。

ハンズオン

関連ノート