R2D2

Revaud 2019 · 논문

한 줄 요약 — 밀집 descriptor와 함께 명시적인 반복성(repeatability) 맵과 신뢰성(reliability) 맵을 공동으로 학습하여, 실제로 매칭 가능한 위치에서만 keypoint를 검출한다.

문제

고전적인 지역 특징은 검출-후-기술(detect-then-describe) 패러다임을 따른다: 수작업 검출기가 반복 가능한 keypoint를 찾은 후, 별도의 descriptor가 이를 표현한다. 학습 기반 방법들은 이를 따라잡았다 — 검출을 위한 반복 가능한 saliency 맵, 그 위치에서의 metric-learning descriptor — 하지만 R2D2는 이것이 서로 다른 두 속성을 혼동한다고 주장한다. 돌출 영역이 반드시 판별 가능한 것은 아니다: 체커보드의 모든 사각형, 건물 파사드의 모든 창문, 나뭇잎, 파도는 일관되게 검출되지만 자기유사성(self-similarity) 때문에 매칭이 모호하다. Descriptor는 매칭이 높은 확신을 가지고 수행될 수 있는 곳에서만 신뢰되어야 하며(keypoint도 그런 곳에서만 검출되어야 한다).

방법 및 아키텍처

하나의 FCN에서 나오는 세 가지 밀집 출력. $H \times W$ 이미지에 대해 네트워크는 다음을 예측한다: L2 정규화된 128차원 밀집 descriptor $\boldsymbol{X}$, 지역 최댓값이 keypoint 후보가 되는 반복성 히트맵 $\boldsymbol{S}\in[0,1]^{H\times W}$, 그리고 각 descriptor의 판별력을 추정하는 신뢰성 맵 $\boldsymbol{R}\in[0,1]^{H\times W}$. 백본은 L2-Net이며 마지막 8x8 컨볼루션을 세 개의 2x2 컨볼루션으로 교체했다(가중치 5배 감소). $\boldsymbol{S}$와 $\boldsymbol{R}$은 원소별 제곱, 1x1 컨볼루션, 128차원 출력에 대한 softmax로부터 얻어진다.

반복성: 자기지도 코사인 유사도. 밀집 정답 대응 관계 $U$와 $U$로 워핑된 두 번째 히트맵 $\boldsymbol{S}'_U$를 갖는 이미지 $I, I'$가 주어지면, 맵들은 모든 $N\times N$ 패치 $\mathcal{P}$에 걸쳐 패치 단위로 정렬된다:

$$\mathcal{L}_{cosim}(I,I',U)=1-\frac{1}{|\mathcal{P}|}\sum_{p\in\mathcal{P}}cosim\bigl(\boldsymbol{S}\left[p\right],\boldsymbol{S}'_{U}\left[p\right]\bigr)$$

peakiness 손실은 자명한 상수 해를 방지하며 $N$을 통해 keypoint 밀도를 설정한다:

$$\mathcal{L}_{peaky}(I)=1-\frac{1}{|\mathcal{P}|}\sum_{p\in\mathcal{P}}\Bigl(\max_{(i,j)\in p}\boldsymbol{S}_{ij}-\mathrm{mean}_{(i,j)\in p}\boldsymbol{S}_{ij}\Bigr)$$

이 둘은 $\mathcal{L}_{rep}=\mathcal{L}_{cosim}+\lambda\left(\mathcal{L}_{peaky}(I)+\mathcal{L}_{peaky}(I')\right)$로 결합된다.

신뢰성: 학습된 신뢰도를 갖는 AP 순위 손실. Descriptor 매칭은 순위(ranking) 문제로 취급된다: 각 질의 픽셀에 대해, triplet/contrastive 대리 손실이 아니라 두 번째 이미지의 후보들에 대한 Average Precision의 미분 가능한 근사를 직접 최적화한다. 결정적으로, 네트워크는 판별력 없는 영역에서는 매칭을 포기(opt out)할 수 있다:

$$\mathcal{L}_{AP\kappa}(i,j)=1-\bigl[AP(i,j)\,\boldsymbol{R}_{ij}+\kappa\,(1-\boldsymbol{R}_{ij})\bigr]$$

여기서 $\kappa=0.5$는 최소 기대 AP다: 최적해는 $AP(i,j)<\kappa$일 때 $\boldsymbol{R}_{ij}=0$이고 그 외에는 1이 되므로, $\boldsymbol{R}$은 해석 가능한 매칭 가능성 확률이 된다.

학습 데이터와 추론. 밀집 대응 관계는 웹 이미지에 대한 무작위 homography로부터, 그리고 SfM으로 검증된 Aachen 이미지 쌍에 대한 optical-flow 파이프라인(매칭 밀도로 마스킹된 epipolar 제약 DeepMatching을 사용한 EpicFlow)으로부터 자유롭게 얻어진다 — 수동 라벨은 없다. 테스트 시 네트워크는 스케일 피라미드($2^{1/4}$ 다운샘플링)에 걸쳐 실행되며, keypoint는 $\boldsymbol{S}$의 지역 최댓값이고, 상위 $K$개는 결합 점수 $\boldsymbol{S}_{ij}\boldsymbol{R}_{ij}$로 선택된다.

실험 결과

• Ablation(HPatches): 전체 모델은 M-score 0.461 / MMA@3 0.686을 기록한다. 반복성 맵을 제거하면 성능이 0.304 / 0.512로 붕괴한다 — 반복성과 신뢰성은 진정으로 서로 다른 신호다. 신뢰성을 제거하면 M-score가 3% 감소한다.
• HPatches MMA: 중간 범위 임계값에서 SuperPoint, D2-Net(멀티스케일), LF-Net, HAN+HN++, Hessian-affine+RootSIFT를 능가한다. 조명만 변하는 쌍에서는 DELF만이 승리한다(고정된 keypoint 그리드가 공간 변화가 없는 이미지에서는 손쉽게 매칭되기 때문). 3px에서 M-score 0.425 대 LF-Net 0.335, SIFT 0.288.
• 검출기 반복성(Oxford): 예를 들어 wall(시점 변화)에서 300–3000개 포인트에 걸쳐 0.62–0.71 대 QuadNet 0.30–0.46, DoG 0.27–0.28.
• Aachen Day-Night localization(CVPR19 local-feature challenge, COLMAP 파이프라인): 최고 모델(N=8, 10k keypoint, 1M 가중치)은 야간 쿼리의 **45.9 / 66.3 / 88.8%**를 (0.25m, 2°) / (0.5m, 5°) / (5m, 10°) 이내로 localize하며 — 이는 새로운 기록으로, D2-Net(44.9/66.3/88.8, 1500만 가중치, 512차원)과 SuperPoint(42.8/57.1/75.5)를 앞선다. 5k-keypoint 버전조차 절반의 keypoint 수로 대부분의 방법을 능가하며, 128차원 descriptor와 최대 15배 작은 네트워크만 사용한다.

SLAM에서의 의미

잘못된 매칭은 반복적 구조(복도, 파사드, 식물)에서 특징 기반 SLAM의 지배적인 실패 모드다. R2D2는 신뢰성 인식 keypoint 선택 — 양보다 질 — 이라는 원리를 확립했으며, 이는 이후의 검출기/descriptor 설계와 현대 파이프라인이 localization 및 3D 복원을 위한 대응 관계를 채점하고 필터링하는 방식으로 이어졌다.

실습

• Deep local feature detection

관련 문서

• SuperPoint — 자기지도 공동 검출기/descriptor 기준선
• DISK — 강화학습으로 학습된 대안
• KeyNet — 학습된 검출기 계열
• DeDoDe — 검출과 기술의 후속 분리
• hloc — 이러한 특징이 평가되는 localization 파이프라인