R2D2 - Repeatable and Reliable Detector and Descriptor (NAVER LABS Europe)

Posted on Edited on In , Views:

… 블로그 아티클은 중요한 내용은 이야기하지 않는 것 같다. 논문을 따로 리뷰해야할듯.

원본 글 링크

Github code

R2D2의 주 목적

Combining keypoint reliability in an image as part of the keypoint detection problem significantly improves feature matching.

 

과거의 Handcrafted keypoints

  • 사람이 직접 디자인
    • Edge나 corner같은 ‘salient region’을 찾도록 만듬. (괄호를 친 이유는, 실제로는 salient하지 않기 때문에…)
  • Learning-based를 사용해서 만든 keypoint들은 ‘interesting keypoint’를 학습함.
    • 참조하면 좋은 논문 - “From handcrafted to deep local features”

 

Salient region? Interesting keypoint?

  • 과거에는 ‘repeatable’한 키포인트를 찾았음.
    • i.e. 물체를 바라보는 각도가 달라져도 동일한 위치에서 검출되는 키포인트들.
    • 보통 ‘detector’가 잘 찾을 수 있는 것을 repeatable이라고 함.
  • 하지만 실제로는 ‘reliable’한 것도 중요함.
    • i.e. 여러 이미지에서 동일한 포인트로 매칭할 수 있어야함.
    • 보통 ‘descriptor’가 잘 찾을 수 있는 것을 reliable이라고 함.
  • 좋은 키포인트들은 reliable + repeatable 함.

 

R2D2

  • Reliability를 하나의 지표로 삼아서 keypoint detector를 ranking loss 기반으로 학습함.
  • HPatches, Aachen day-night 데이터셋 등에서 잘 되는 것을 입증함.