Fang 2022 - Self-Supervised Camera Self-Calibration from Video 논문 리뷰

논문 배경

프로젝트 페이지
GitHub 코드 레포지토리

카메라 캘리브레이션은 로보틱스와 컴퓨터 비전 문제를 푸는데에 굉장히 중요한 역할을 한다. 하지만 캘리를 하는 과정 자체가 엄청나게 많은 노력이 들어갈 뿐 더러, 카메라 파라미터가 조금만 바뀌어도 (e.g. 진동이나 열로 인해 바뀌어도) 새로 캘리브레이션을 해야하기 때문에 전반적으로 캘리브레이션 과정 자체가 골칫거리로 여겨지는 경우가 많다.

그에 비해, self-supervised depth / ego-motion 추정 기법들은 view-synthesis를 목적으로 매 프레임마다 projection model을 계산하는 방법을 통해 이러한 캘리 과정을 건너뛰는 경우가 많다.

이 논문에서는 in-the-wild 비디오 시퀀스 (i.e. 캘리브레이션 타겟이 전혀 없는 실제 환경)에서 카메라 파라미터를 학습하는 방법을 통해 캘리브레이션을 수행하는 방법을 제안한다. 이 논문에서 제안하는 방식은 sub-pixel 단위의 에러를 보여주며, perspective, fisheye, catadioptric 카메라와 같은 다양한 카메라 모델에도 in-the-wild 캘리브레이션이 가능하다는 것을 보여준다. 또, 이 과정에 있어서 depth estimation 기법의 정확도가 올라가는 것도 보여준다.

 

---

포스터

이 논문은 ICRA 2022에 나왔다.

 

---

Proxy network - Self-supervised monocular depth estimation