UndeepVO

Li 2018 · 논문

한 줄 요약 — 비지도 심층 학습으로 학습된 단안 visual odometry 시스템으로, 스테레오 이미지 쌍으로 학습하여 절대 메트릭 스케일을 복원하면서도 테스트 시에는 단안 입력만으로 동작합니다.

문제

지도 학습 기반 학습형 VO(DeepVO)는 대규모로 수집하기에 비용이 큰 정답 6-DoF 포즈가 필요하며, 최초의 자기 지도 대안(SfM-Learner)은 단안 비디오만으로 학습하기 때문에 근본적인 단안 한계를 그대로 물려받습니다: 깊이와 궤적은 알려지지 않은 스케일까지만 복원됩니다. UnDeepVO의 답은 다음과 같습니다: 런타임 센서나 후처리가 아니라 학습 시점의 스테레오 기하가 스케일을 제공하도록 하자 — 저자들이 주장하는 두 가지 “핵심 특징”은 비지도 학습 방식과 절대 스케일 복원입니다.

방법 및 아키텍처

• 포즈 추정기. VGG 기반 CNN이 연속된 두 단안 프레임을 입력받아 6-DoF 변환을 회귀하며, 이동과 오일러 각 회전을 위한 분리된 완전 연결 브랜치를 사용하여 회전에 별도의 가중치를 줄 수 있게 합니다(회전은 매우 비선형적이며 학습하기 더 어렵습니다).
• 깊이 추정기. disparity가 아니라 깊이 맵을 직접 예측하는 인코더-디코더입니다 — 저자들은 이 방식으로 전체 시스템이 더 쉽게 수렴한다고 보고합니다.
• 스테레오 학습, 단안 테스트. 학습 중에는 좌우 이미지 시퀀스 모두가 네트워크에 입력됩니다. 손실은 예측 값을 알려진 고정 기선 $B$에 연결합니다. 테스트 시에는 연속된 단안 이미지만 사용됩니다.
• **공간 손실(스테레오 쌍 내부)**은 대응 픽셀이 disparity만큼 이동한다는 사실을 활용합니다.

$$D_{p}=Bf/D_{dep},$$

($f$는 초점 거리, $D_{dep}$는 예측된 깊이) — 여기서 메트릭 스케일이 들어옵니다. 한 이미지가 spatial transformer를 통해 다른 이미지로부터 합성되고, SSIM + L1을 결합한 광도 손실로 벌점을 받습니다. 예를 들어:

$$L_{pho}^{l}=\lambda_{s}L^{SSIM}(I_{l},I^{\prime}_{l})+(1-\lambda_{s})L^{l_{1}}(I_{l},I^{\prime}_{l}),$$

여기에 disparity 맵 일관성 손실과, 좌측·우측 시퀀스의 포즈 예측이 일치하도록 강제하는 포즈 일관성 손실 $L_{pos}=\lambda_{p}L^{l_{1}}(\mathbf{x}^{\prime}_{l},\mathbf{x}^{\prime}_{r})+\lambda_{o}L^{l_{1}}(\varphi^{\prime}_{l},\varphi^{\prime}_{r})$가 추가됩니다.

• **시간적 손실(연속 프레임 간)**은 모션을 복원합니다: 픽셀이 예측된 깊이와 포즈로 재투영되며,

$$p_{k+1}=KT_{k,k+1}D_{dep}K^{-1}p_{k},$$

동일한 SSIM+L1 광도 손실로 벌점을 받고, 여기에 $T_{k,k+1}$ 하에서 두 프레임의 점 구름을 정렬하는 ICP 유사 3D 기하 정합 손실 $L_{geo}^{k}=L^{l_{1}}(P_{k},P^{\prime}_{k})$가 추가됩니다.

• 학습. Adam($\beta_1=0.9$, $\beta_2=0.99$), 학습률 0.001을 전체 반복의 1/5마다 반씩 감소, 20–30 epoch, 416×128 입력, 색상/회전/좌우 데이터 증강 사용. 추론: GTX 980M에서 40 Hz로 400 MB 미만의 GPU 메모리 사용.

실험 결과

• KITTI odometry(00–08 시퀀스로 학습, SfMLearner와 동일한 데이터; 모든 방법에 루프 클로저 없음): 00/02/05/07/08 시퀀스 평균 — UnDeepVO $t_{rel}$ 4.07%, $r_{rel}$ 2.02°/100m, 대비 SfMLearner 36.23% / 4.56(7-DoF 정렬 후), VISO2-M 17.93% / 2.80, ORB-SLAM-M(VO만) 27.05% / 10.23이며, 이 두 방법은 UnDeepVO의 416×128에 비해 전체 1242×376 이미지를 필요로 했습니다. (이 시퀀스들은 학습 세트와 겹치며 — 논문은 이를 네트워크 적합도를 측정하는 것으로 규정합니다. GT가 없는 11–21 시퀀스에서는 그 궤적이 스테레오 VISO2-S와 비교할 만합니다.)
• 스케일. 포즈와 깊이는 별도의 스케일 후처리 없이 메트릭 단위로 나옵니다 — SfMLearner와 ORB-SLAM-M은 정답에 대한 7-DoF 정렬이 필요했고, VISO2-M은 고정된 카메라 높이 사전 정보가 필요했습니다.
• 깊이(KITTI Eigen 분할): Abs Rel 0.183, Sq Rel 1.73, RMSE 6.57, RMSE log 0.268 — 지도 학습 방식인 Eigen et al.(0.214)과 스케일 없는 SfMLearner(0.208)보다 우수하고, 스테레오로 학습된 MonoDepth(0.148, 더 높은 해상도, ResNet 아키텍처, 전체 KITTI raw 세트를 사용)보다는 뒤처집니다.

SLAM에서의 의미

UndeepVO는 단안 스케일 문제를 런타임의 추가 센서가 아니라 학습 데이터의 기하로 공략할 수 있음을 보여준 최초의 연구 중 하나입니다: 스테레오 지도를 한 번만 사용하고, 영원히 단안으로 배포합니다. 이 스테레오 지도 자기 지도 학습 기법은 이후의 자기 지도 깊이 및 VO 방법들(포즈 네트워크와 결합된 MonoDepth 스타일의 광도 손실, 이후 정제되어 D3VO에서 직접 VO에 통합됨)의 표준 요소가 되었습니다. 고전적인 다중 뷰 기하 제약이 학습을 위한 무료 지도 신호로 사용될 수 있음을 보여주는 유용한 사례 연구입니다.

관련 문서

• SfM-Learner — 순수 단안 자기 지도 깊이+포즈 선행 연구(스케일 모호함이 있음).
• MonoDepth — 스테레오 지도 자기 지도 깊이 추정.
• DeepVO — 지도 학습 기반의 종단간 학습형 VO 대응 연구.
• D3VO — 자기 지도 깊이, 포즈, 불확실성을 direct VO에 통합한 이후의 시스템.
• Self-supervised depth — 일반적인 개념.
• Scale ambiguity — UnDeepVO가 우회하여 학습하는 단안의 한계.