PoseNet

Kendall 2015 · 논문

한 줄 요약 — 단일 RGB 이미지로부터 완전한 6-DoF 카메라 포즈(이동 + 쿼터니언)를 직접 회귀하는 최초의 CNN으로, 프레임당 5ms, 50MB 모델로 동작하는 visual relocalization을 위한 Absolute Pose Regression(APR)을 개척했다.

문제

고전적인 relocalization은 메트릭 방식(특징을 3D 맵과 매칭한 후 PnP를 풀며 — 좋은 초기 추정치, 기가바이트 단위의 저장 공간이 필요하고 흐림, 저조도, 텍스처 빈약 시점에서 SIFT류 매칭이 실패하면 함께 실패함) 또는 외관 기반 방식(불연속적인 장소 집합 중에서 분류 — 대략적인 위치만 제공)으로 나뉜다. PoseNet은 실종/키드냅된 로봇 문제(lost/kidnapped-robot problem)에 대응하며, 224x224 단일 이미지를 컨볼루션 네트워크가 특징 엔지니어링, 맵, 그래프 최적화 없이 종단간으로 연속적인 6-DoF 포즈에 직접 매핑할 수 있는지, 그리고 포즈 라벨이 달린 데이터가 (장면당 SfM으로 자동 라벨링된 수백~수천 프레임 정도로) 희소한 상황에서도 이것이 학습 가능한지를 묻는다.

방법 및 아키텍처

• 백본: 수정된 GoogLeNet(학습 가능한 파라미터를 가진 23개 레이어). 세 개의 softmax 분류기 전부를 7차원 포즈 벡터를 출력하는 affine 회귀기로 교체하고, 탐색 가능한 위치 인식 특징을 형성하기 위해 최종 회귀기 앞에 2048차원 완전연결 레이어를 추가로 삽입한다. 출력은

$$\mathbf{p} = [\mathbf{x}, \mathbf{q}]$$

로, 위치 $\mathbf{x} \in \mathbb{R}^3$과 회전 쿼터니언 $\mathbf{q} \in \mathbb{R}^4$로 구성된다. 임의의 4차원 값이 단위 정규화를 통해 유효한 회전으로 매핑되므로(회전 행렬을 직교정규화하는 것보다 단순함) 쿼터니언을 선택했으며, $\mathbf{q}$는 테스트 시 정규화된다.

• 손실 함수: 두 항을 균형 잡는 스케일 인자를 갖는 결합 회귀,

$$loss(I) = \lVert\hat{\mathbf{x}}-\mathbf{x}\rVert_2 + \beta\,\left\lVert\hat{\mathbf{q}}-\frac{\mathbf{q}}{\lVert\mathbf{q}\rVert}\right\rVert_2$$

최적 $\beta$는 학습 종료 시점에서 예상 위치 오차와 방향 오차의 비율이며, 그리드 서치로 찾는다: 실내 120–750, 실외 250–2000. 위치와 방향을 별도로, 또는 별도의 브랜치로 학습하면 성능이 저하됐다 — 각 출력이 서로를 분리하는 데 도움을 준다.

• 전이 학습: 가중치는 ImageNet/Places에서 분류기로 사전 학습되며, 이는 희소한 학습 집합으로부터도 더 짧은 시간에 더 낮은 오차로 수렴한다. (장면과 더 관련 있는) Places가 결국 ImageNet을 능가한다. 학습된 특징은 포즈에 대해 매끄럽게 변화하는, 대체로 일대일에 가까운 함수이며 소수의 샘플만으로도 미지의 장면으로 일반화된다.
• SfM을 통한 데이터: 학습 포즈는 스마트폰 비디오(2Hz 프레임, ~1m 간격)의 structure-from-motion 재구성에서 얻으며, 라벨링 노력을 비디오 촬영만으로 줄인다. 논문은 Cambridge Landmarks 데이터셋(실외 장면 5개)을 공개한다.
• 추론: 단일 중심 크롭에는 5ms가 걸린다. 균일하게 배치된 128개 크롭을 평균화하면(95ms) 특히 복잡한 장면에서 소폭의 성능 향상이 있다.

실험 결과

• 전체: 대규모 실외 장면(최대 50,000 m^2)에서 약 2m, 6도 정확도, 실내에서는 0.5m, 10도, 모두 실시간으로 동작한다.
• Cambridge Landmarks(중앙값): King’s College 1.92m / 5.40도(밀집 버전 1.66m / 4.86도), Old Hospital 2.31m / 5.38도, Shop Facade 1.46m / 8.08도, St Mary’s Church 2.65m / 8.48도, Street 3.67m / 6.50도 — 자신의 특징 벡터에 대한 최근접 매칭(예: King’s College에서 3.34m / 5.92도)을 능가하여, 학습 집합을 넘어서는 회귀임을 입증한다.
• 7 Scenes(중앙값): 예를 들어 Chess 0.32m / 8.12도, Office 0.48m / 7.68도, Stairs 0.47m / 13.8도 — 그러나 RGB-D 기반 SCoRe Forest는 0.03–0.06m를 기록하여, 깊이 기반 장면 좌표 회귀가 적용 가능한 곳에서는 PoseNet이 훨씬 덜 정확하다(다만 95번째 백분위 이상의 가장 어려운 프레임에서는 우위를 보인다).
• 효율성: 가중치 50MB, 포즈당 5ms인 반면, SIFT 기반 메트릭 localization은 기가바이트 단위 저장 공간과 수 분의 시간이 필요하며 그 비용은 학습 데이터에 대해 $\mathcal{O}(n^2)$로 증가한다.
• 강인성: 모션 블러, 황혼/야간 실루엣, 안개, 비, 동적 객체, 미지의 카메라 내부 파라미터(학습 카메라 30mm 대비 35–45mm 초점 거리) 속에서도 계속 localization이 가능하다 — SIFT를 사용한 SfM이 완전히 실패하는 모든 경우다. 정확도는 4m 간격의 학습 이미지 수십 장까지 완만하게 저하된다.

SLAM에서의 의미

PoseNet은 학습 기반 relocalization 연구 방향을 개척하고 APR 문제 설정을 정의하며, 전이 학습을 통해 컨볼루션 네트워크가 이미지 평면 밖 회귀를 풀 수 있음을 보였다. 그 한계 또한 결과만큼이나 큰 영향을 미쳤다: 구조 기반 방법에 훨씬 못 미치는 미터 수준 정확도는 장면 좌표 회귀(DSAC, ACE)를 촉발했고, 이는 기하 솔버를 루프 안에 유지하며 센티미터급 정확도에 도달한다. 이후 분석에서는 APR이 기하보다는 이미지 검색에 더 가깝게 동작한다는 사실도 밝혀졌다. SLAM에서는 PoseNet류 회귀가 대략적인 relocalization 사전 정보로 남아있으며, 그 컴팩트하고 고정된 메모리를 갖는 “가중치 안의 맵”은 암묵적 신경 맵을 예고했다.

관련 문서

• CNN Pose Regression Limitations — APR 정확도가 왜 검색 수준으로 제한되는지
• DSAC — 미분 가능한 RANSAC을 사용한 장면 좌표 회귀
• DSAC++ — 개선된 장면 좌표 회귀 학습
• ACE — 빠른 현대적 장면 좌표 회귀
• hloc — 구조 기반 계층적 localization 대안