DSO

Engel 2016 · 논문

한 줄 요약 — Direct Sparse Odometry는 완전한 직접 확률 모델(광도 오차 최소화)과 모든 모델 매개변수의 일관된 결합 최적화를 결합하여, 희소하고 균등하게 분포된 고기울기 픽셀 집합에 대한 윈도우 광도 번들 조정을 수행합니다.

문제

DSO 이전에는 직접 방법과 희소 방법이라는 두 세계가 각각 절반의 성과만을 유지하고 있었습니다. LSD-SLAM은 광도적으로 추적했지만 기하학은 필터링과 포즈 그래프로만 정제했으며, 구조와 모션을 결합하여 최적화한 적이 없었습니다. 특징점 기반 방법(ORB-SLAM)은 완전한 번들 조정을 수행했지만 이미지를 키포인트로 축소시켰습니다. DSO는 “다른 직접 방법들이 사용하는 평활성 사전 정보를 배제하고 대신 이미지 전체에 균등하게 픽셀을 샘플링함으로써” “완전한 직접 확률 모델(광도 오차 최소화)“과 포즈, 역깊이, 내부 파라미터, 프레임별 밝기를 포함한 “모든 모델 매개변수의 일관되고 결합된 최적화”를 실시간으로 결합합니다.

방법 및 아키텍처

• 광도 보정: 이미지 형성은 응답 함수 $G$, 비네팅 $V$, 노출 $t_i$, 방사조도 $B_i$를 갖는 $I_i(\mathbf{x}) = G\big(t_i\, V(\mathbf{x})\, B_i(\mathbf{x})\big)$로 모델링됩니다; 프레임들은 $I_i'(\mathbf{x}) := t_i B_i(\mathbf{x}) = G^{-1}(I_i(\mathbf{x}))/V(\mathbf{x})$를 통해 사전에 보정됩니다.
• 광도 오차: 프레임 $I_i$에서 호스트되고 $I_j$에서 관측되는 점 $\mathbf{p}$는 8픽셀 잔차 패턴 $\mathcal{N}_{\mathbf{p}}$에 대한 가중 SSD로 다음을 기여합니다.

$$E_{\mathbf{p}j} := \sum_{\mathbf{p}\in\mathcal{N}_{\mathbf{p}}} w_{\mathbf{p}} \left\| (I_j[\mathbf{p}'] - b_j) - \frac{t_j e^{a_j}}{t_i e^{a_i}} (I_i[\mathbf{p}] - b_i) \right\|_{\gamma},$$

여기서 $\mathbf{p}' = \Pi_{\mathbf{c}}\big(\mathbf{R}\, \Pi_{\mathbf{c}}^{-1}(\mathbf{p}, d_{\mathbf{p}}) + \mathbf{t}\big)$는 역깊이 $d_{\mathbf{p}}$와 상대 포즈 $\mathbf{T}_j \mathbf{T}_i^{-1}$에 의한 재투영이고, $a, b$는 아핀 밝기 매개변수(로그 파라미터화로 드리프트를 방지)이며, $\|\cdot\|_\gamma$는 Huber 노름이고, $w_{\mathbf{p}} = c^2 / (c^2 + \|\nabla I_i(\mathbf{p})\|_2^2)$는 (암묵적 기하학적 노이즈로 인해) 고기울기 픽셀의 가중치를 낮춥니다. 전체 에너지는

$$E_{\text{photo}} := \sum_{i\in\mathcal{F}} \sum_{\mathbf{p}\in\mathcal{P}_i} \sum_{j\in\mathrm{obs}(\mathbf{p})} E_{\mathbf{p}j},$$

이며 슬라이딩 윈도우 전체에 대해 가우스-뉴턴으로 최적화됩니다; 각 점은 자신의 호스트 프레임에서의 역깊이라는 단 하나의 미지수를 가지므로, Schur complement 이후 시스템은 고전적인 희소 BA처럼 풀립니다.

• 마지널라이제이션 (Marginalization): 오래된 프레임과 점은 Schur complement를 통해 윈도우를 떠납니다. $\widehat{\mathbf{H}_{\alpha\alpha}} = \mathbf{H}_{\alpha\alpha} - \mathbf{H}_{\alpha\beta}\mathbf{H}_{\beta\beta}^{-1}\mathbf{H}_{\beta\alpha}$이며, 이는 남아있는 변수들에 대한 이차 사전 정보를 남깁니다; 마지널라이즈된 변수와 연결된 변수의 선형화(접평면) 지점은 이후로 고정되며, 헤시안을 채우게 될 잔차들은 폐기됩니다.
• 프론트엔드: $N_f = 7$개의 활성 키프레임과 $N_p = 2000$개의 활성 점으로 이루어진 윈도우입니다. 새 프레임은 등속도 모델을 사용한 두 프레임 직접 정렬로 최신 키프레임에 대해 추적됩니다; 키프레임은 평균 광학 흐름, 병진 전용 흐름, 밝기 변화의 가중 점수가 임계값을 초과할 때 생성됩니다(초기에는 초당 5-10개 키프레임, 이후 중복되는 것들은 조기에 마지널라이즈되며 — 항상 최신 두 개는 유지하고, 가시성이 5% 미만인 프레임은 폐기하며, 그 외에는 공간적 거리 점수로 처리). 후보 점들은 $d \times d$ 블록에 대한 영역 적응형 기울기 임계값(중간 블록 기울기 $\bar g + g_{\text{th}}$, $g_{\text{th}}=7$)으로 선택되어 — 흰 벽의 엣지와 부드러운 명암 변화도 샘플링됩니다 — 깊이 초기화를 위해 에피폴라 선을 따라 추적된 다음, 공간적 분산을 최대화하도록 활성화됩니다.

실험 결과

세 개의 데이터셋에서 평가되었으며, 모든 시퀀스는 정방향과 역방향으로 실행됩니다(TUM monoVO에서 500회 실행 — 광도 보정된 50개 시퀀스, 105분; EuRoC MAV에서 220회 실행 — 11개 시퀀스, 19분; ICL-NUIM에서 80회 실행 — 8개 시퀀스, 4.5분), 정확도와 강건성을 모두 포착하는 누적 오차 플롯으로 보고됩니다:

• TUM monoVO와 ICL-NUIM: “직접적이고 희소한 접근 방식이 정확도와 강건성 모두에서 ORB-SLAM을 명확히 능가합니다”(monoVO에서는 정렬/회전/스케일-드리프트 오차, ICL-NUIM에서는 ATE). LSD-SLAM과 SVO는 실제 노출 변화 하에서의 밝기 불변성 가정 때문에 “대부분의 시퀀스에서 지속적으로 실패합니다.”
• EuRoC MAV: ORB-SLAM이 더 정확합니다(광도 보정이 불가능하고, 지역 매핑이 데이터셋에 존재하는 많은 작은 루프를 암묵적으로 닫는데, 순수 오도메트리는 이를 할 수 없습니다); ORB-SLAM을 최근 10초 이내에 관측된 지도점으로 제한하면 정확도는 DSO와 유사해지지만 강건성은 낮아집니다.
• 효율성: i7-4910MQ에서 실시간 동작; 축소된 설정($N_p = 800$, $N_f = 6$, 424×320)에서도 DSO는 5배의 실시간 속도로 실행되면서 매우 우수한 정확도와 강건성을 달성합니다.
• Ablation: 완전한 광도 보정이 최고의 결과를 내며, 단순한 밝기 불변성 가정은 명백히 최악의 성능을 보입니다; $N_p = 500$개 이상의 점이나 $N_f = 7$개 이상의 프레임을 사용해도 정확도에 미치는 영향은 미미합니다(2000개의 점은 주로 더 밀집된 지도를 위해 유지됩니다).

SLAM에서의 의미

DSO는 결정적인 직접 희소 방법으로, DTAM과 LSD-SLAM이 열었던 시대를 마무리하며 ORB-SLAM과 함께 두 개의 고전적인 표준 베이스라인(직접 방법 대 특징점 기반 방법) 중 하나로 자리 잡았습니다. 이 공식화는 하나의 계보 전체를 낳았습니다 — LDSO, Stereo DSO, VI-DSO, DVSO, D3VO, DM-VIO — 그리고 광도 보정에 대한 통찰, 고정된 접평면을 이용한 마지널라이제이션, 슬라이딩 윈도우 설계는 오늘날에도 오도메트리 시스템에서 여전히 표준적인 실무로 남아 있습니다.

관련 문서

• LSD-SLAM
• LDSO
• DVSO
• D3VO
• Stereo DSO
• Marginalization