SVO

Forster 2014 · 논문

한 줄 요약 — 키프레임에서만 FAST 코너를 검출하지만 작은 패치의 직접 광도 정렬로 움직임을 추적하는 반직접(semi-direct) 시각 오도메트리 방법으로, 초당 수백 프레임에 이른다.

문제

특징점 기반 파이프라인(PTAM과 그 MAV용 변형)은 프레임당 예산의 대부분을 특징 추출과 강건한 매칭에 소비하는 반면, 밀집 직접 방법(DTAM)은 GPU를 필요로 한다. 마이크로 에어리얼 비히클(MAV)은 작은 온보드 컴퓨터에서 매우 높은 속도와 낮은 지연으로 정밀한 포즈 추정치를 필요로 하며, 두 진영 모두 그 예산에 맞지 않는다. SVO(“SVO: Fast Semi-Direct Monocular Visual Odometry”, ICRA 2014)는 픽셀 강도에 직접 작용함으로써 “움직임 추정을 위한 값비싼 특징 추출과 강건한 매칭 기법”을 제거하고, 여기에 이상값을 명시적으로 모델링하는 확률적 매핑 방법을 결합한다.

방법 및 아키텍처

PTAM과 마찬가지로 두 개의 병렬 스레드로 구성된다: 모션 추정과 매핑. 특징 추출은 키프레임이 선택될 때만 일어나며, 프레임별 모션 추정은 디스크립터를 사용하지 않고 세 단계로 진행된다.

1. 희소 모델 기반 이미지 정렬 — 알려진 깊이 dud_{\mathbf{u}}를 가진 특징점 주변 4×4 픽셀 패치의 직접 정렬로부터 프레임 간 포즈를 구한다:

Tk,k−1=arg⁡min⁡T12∑i∈Rˉ∥δI(T,ui)∥2,δI(T,u)=Ik(π(T⋅π−1(u,du)))−Ik−1(u)\mathbf{T}_{k,k-1}=\arg\min_{\mathbf{T}}\frac{1}{2}\sum_{i\in\bar{\mathcal{R}}}\lVert\delta I(\mathbf{T},\mathbf{u}_i)\rVert^2,\qquad \delta I(\mathbf{T},\mathbf{u})=I_k\big(\pi(\mathbf{T}\cdot\pi^{-1}(\mathbf{u},d_{\mathbf{u}}))\big)-I_{k-1}(\mathbf{u})

역합성(inverse compositional) 형식(상수인, 미리 계산된 자코비안)을 사용한 Gauss-Newton으로 풀며, 5레벨 피라미드에서 거친 것부터 세밀한 것까지 순서로 처리한다. 이 단계는 에피폴라 제약을 암묵적으로 만족시키며 이상값이 없는 대응점을 산출한다.

2. 특징 정렬(완화) — 각 패치의 2D 위치는 관측 각도가 가장 가까운 키프레임에 대해 개별적으로 정제되며, 8×8 패치와 아핀 워프 Ai\mathbf{A}_i, 역합성 Lucas-Kanade를 사용한다:

ui′=arg⁡min⁡ui′12∥Ik(ui′)−Ai⋅Ir(ui)∥2\mathbf{u}_i'=\arg\min_{\mathbf{u}_i'}\frac{1}{2}\lVert I_k(\mathbf{u}_i')-\mathbf{A}_i\cdot I_r(\mathbf{u}_i)\rVert^2

이는 서브픽셀 대응을 얻기 위해 의도적으로 에피폴라 제약을 위반하며, 측정값을 지도에 다시 고정시켜 프레임 간 드리프트 체인을 끊는다.

3. 포즈 및 구조 정제 — 2단계에서 생긴 재투영 잔차(평균 약 0.3 픽셀)는 모션 전용 BA로 최소화된다. Tk,w=arg⁡min⁡T12∑i∥ui−π(Tk,w wpi)∥2\mathbf{T}_{k,w}=\arg\min_{\mathbf{T}}\frac{1}{2}\sum_i\lVert\mathbf{u}_i-\pi(\mathbf{T}_{k,w}\,{}_w\mathbf{p}_i)\rVert^2이고, 이어서 구조 전용 BA가 수행된다; 선택적인 지역 BA는 빠른 설정에서는 생략된다.

매핑 — 새 특징점(30×30 셀당 Shi-Tomasi 점수가 가장 높은 FAST 코너)마다 순차적인 베이지안 깊이 필터를 두며, 높은 불확실성으로 장면 평균 깊이에서 초기화된다. 새 프레임마다 최적의 에피폴라 라인 매칭으로부터 삼각측량된 깊이 d~ik\tilde{d}_i^k가 기여하며, 이는 가우시안 + 균일 분포의 내점/이상값 혼합으로 모델링된다:

p(d~ik∣di,ρi)=ρi N(d~ik∣di,τi2)+(1−ρi) U(d~ik∣dimin,dimax)p(\tilde{d}_i^k\mid d_i,\rho_i)=\rho_i\,\mathcal{N}\big(\tilde{d}_i^k\mid d_i,\tau_i^2\big)+(1-\rho_i)\,U\big(\tilde{d}_i^k\mid d_i^{min},d_i^{max}\big)

내점 확률 ρi\rho_i와 기하학적 분산 τi2\tau_i^2(1픽셀 시차 가정)를 가지며, 역깊이로 매개변수화된다. 3D 포인트는 필터가 수렴한 후에만 지도에 들어가며, 이로써 구조적으로 이상값을 배제한다. 키프레임은 모든 키프레임까지의 거리가 평균 장면 깊이의 12%를 초과할 때 선택된다.

실험 결과

모션 캡처 정답이 있는 84 m MAV 궤적에서, SVO의 상대 포즈 오차는 (빠른 설정에서) 0.0059 m/s, (정확한 설정에서) 0.0051 m/s로, Weiss et al.의 MAV 튜닝 PTAM의 0.0164 m/s와 비교되며, 더 매끄러운 궤적과 훨씬 적은 3D 이상값을 보인다. 런타임: 노트북(Intel i7, 300+ fps; 지역 BA 포함 시 6 ms)에서 프레임당 3.04 ms, 온보드 Odroid-U2 ARM 컴퓨터(55 fps)에서 18.17 ms로, PTAM의 91 fps와 27 fps에 대비된다 — 최대 2개의 CPU 코어만 사용하며 빠른 설정에서는 단 120개의 추적된 특징만 사용한다. 깊이 필터 덕분에 SVO는 PTAM이 많은 이상값 포인트를 만드는 반복적인 고주파 질감(아스팔트, 잔디)에서도 신뢰성 있게 추적한다. 오픈소스로 공개되었다.

SLAM에서의 의미

SVO는 프레임별 특징 추출과 디스크립터 매칭을 없애면 극도로 낮은 지연과 서브픽셀 정밀도의 오도메트리가 가능해짐을 보여주었고, 이로써 수년간 마이크로 에어리얼 비히클과 임베디드 플랫폼을 위한 선택 추정기가 되었다. 특징점 기반(PTAM, ORB-SLAM)과 직접(LSD-SLAM, DSO) 방법 사이의 “반직접” 범주를 정의했으며, 그 가우시안+균일 깊이 필터(Vogiatzis & Hernández에서 유래, REMODE에서도 사용됨)는 이후 많은 시스템에서 재사용되었다. SVO2는 이 방식을 다중 카메라 리그, 어안/카타디옵트릭 렌즈, 에지릿, 모션 사전 정보로 확장했다.

관련 문서