LDSO

Gao 2018 · 논문

한 줄 요약 — 반복 가능한 코너 쪽으로 편향된 점 선택과 BoW 루프 감지, $\mathrm{Sim}(3)$ 포즈 그래프 최적화를 추가하여 DSO를 완전한 SLAM 시스템으로 확장하고, DSO의 광도 추적 핵심을 유지하면서 무한한 드리프트 문제를 해결했습니다.

문제

DSO는 슬라이딩 윈도우 광도 번들 조정을 통해 뛰어난 지역적 정확도를 달성하지만, 순수한 오도메트리입니다: 장소 인식도, 루프 클로저도, 전역 최적화도 없어서 긴 궤적에서 드리프트가 무한히 커집니다. 직접법에 루프 클로저를 추가하는 것은 간단하지 않습니다. 직접법은 반복 가능성이 아니라 기울기로 픽셀을 선택하기 때문입니다 — “그 점들의 반복 가능성은 직접법에서 요구되지 않으므로,” bag-of-words 데이터베이스에 넣을 디스크립터가 없습니다. LDSO는 DSO의 광도 프론트엔드를 포기하지 않으면서 이 간극을 메웁니다.

방법 및 아키텍처

반복 가능한 특징점을 이용한 점 선택: LDSO는 DSO처럼 여전히 키프레임당 2000개의 점을 선택하지만, 그중 일부는 Shi–Tomasi 점수로 감지된 코너이고 나머지는 DSO의 기울기 기반 동적 그리드 탐색을 사용합니다. (소수의) 코너에만 ORB 디스크립터가 부여되어 bag-of-words로 묶이며, 코너와 코너가 아닌 점 모두 광도 추적에 사용되므로 루프 클로징 스레드의 추가 비용은 최소로 유지됩니다.
루프 후보 제안 및 검증: 키프레임에 대한 DBoW3 데이터베이스가 후보를 제안하며, 이는 (이미 주변화된) 현재 윈도우 밖의 키프레임으로 제한됩니다. ORB 매칭과 RANSAC PnP로 초기 $\mathrm{SE}(3)$ 추정치를 얻고, 이어서 루프 후보에서 현재 키프레임으로의 $\mathrm{Sim}(3)$ 변환 $\mathbf{S}_{cr}$ 이 결합된 3D 기하학 제약과 2D 재투영 제약에 대한 Gauss–Newton으로 정제됩니다:

$E_{loop} = \sum_{\mathbf{q}_i \in \mathcal{Q}_1} w_1 \left\| \mathbf{S}_{cr}\, \Pi^{-1}(\mathbf{p}_i, d_{\mathbf{p}_i}) - \Pi^{-1}(\mathbf{q}_i, d_{\mathbf{q}_i}) \right\|_2 + \sum_{\mathbf{q}_j \in \mathcal{Q}_2} w_2 \left\| \Pi\big(\mathbf{S}_{cr}\, \Pi^{-1}(\mathbf{p}_j, d_{\mathbf{p}_j})\big) - \mathbf{q}_j \right\|_2,$

여기서 $\Pi, \Pi^{-1}$ 은 투영/역투영, $d$ 는 역깊이(현재 키프레임의 깊이는 활성 윈도우의 지도점을 그 위에 투영하여 얻음)이며, $w_1, w_2$ 는 측정 단위를 맞추기 위한 가중치입니다. 스케일은 3D 항에서만 관측 가능하지만, 2D 재투영 항이 없으면 잡음이 있는 깊이 아래에서 회전과 이동이 부정확해집니다.

슬라이딩 윈도우와 포즈 그래프의 결합: DSO의 윈도우 최적화는 $\mathbf{H}\,\delta\mathbf{x} = -\mathbf{b}$ 를 풉니다( $\mathbf{H} \approx \mathbf{J}^{\top}\mathbf{W}\mathbf{J} + \lambda\mathbf{I}$ , 화살표 모양의 희소성, 대각 $\mathbf{H}_{dd}$ ). LDSO는 DSO의 주변화 사전(모든 윈도우 키프레임에 걸친 하이퍼엣지)을 그래프에 그대로 가져가는 대신, 프론트엔드 포즈 추정치로부터의 쌍별 상대 $\mathrm{SE}(3)$ 관측치로 윈도우 제약을 근사합니다. 각각은 $\mathrm{Sim}(3)$ 루프 제약과 함께 $\mathbf{e}_{ij} = \mathbf{T}_{ij}\hat{\mathbf{T}}_j^{-1}\hat{\mathbf{T}}_i$ 를 기여합니다. 포즈 그래프(g2o)는 현재 키프레임의 포즈를 고정하고 윈도우에 다시 쓰지 않으므로, 전역 보정이 지역 윈도우 BA를 결코 방해하지 않습니다.
변하지 않는 광도 프론트엔드: DSO의 직접 추적과 윈도우 광도 번들 조정은 그대로 유지되어, 질감이 약한 영역에서의 강건성을 보존합니다.

실험 결과

TUM-Mono(50개 시퀀스, 프론트엔드 변경만 분리하기 위해 루프 클로저 비활성화; 각각 정방향 10회 + 역방향 10회 실행): 코너 편향 점 선택은 원 시스템의 이동, 회전, 스케일 드리프트에서 VO 정확도를 “저해하지 않습니다”; 순수 무작위 점 선택은 실패가 더 잦지만 살아남았을 때는 놀랍도록 정확합니다.
EuRoC MAV( $\mathrm{Sim}(3)$ 정렬 후 RMSE): LDSO는 대부분의 시퀀스에서 DSO보다 카메라 추적 정확도를 크게 개선합니다; 둘 다 V2-03에서 실패합니다(정방향 ORB-SLAM2도 마찬가지). 전반적으로 “ORB-SLAM2가 더 정확하지만, 이 데이터셋에서는 LDSO가 더 강건합니다.”
KITTI odometry( $\mathrm{Sim}(3)$ 정렬, 미터 단위 ATE): 루프가 있는 시퀀스에서 LDSO는 DSO의 드리프트를 크게 줄입니다 — seq 00: 126.7 → 9.32(ORB-SLAM2: 8.27), seq 05: 49.85 → 5.10(7.91), seq 07: 27.99 → 2.96(3.44) — ORB-SLAM2가 전역 번들 조정을 실행하는 데 반해 LDSO는 포즈 그래프 최적화만 사용함에도 비슷한 수준입니다.
처리 시간: 점 선택에 키프레임당 21.8 ms 소요(원래 DSO 선택기는 12.6 ms, i7-4770HQ 노트북) — 그리고 모든 프레임이 아니라 키프레임에서만 실행됩니다.

SLAM에서의 의미

LDSO는 설계상 반복 가능한 특징 디스크립터가 없는 직접법이 어떻게 장소 인식을 할 수 있는지에 대한 답을 제시했습니다: 광도 핵심은 유지하되, 점의 일부를 특징점처럼 만드는 것입니다. 또한 SLAM 아키텍처의 깔끔한 사례 연구이기도 합니다: 프론트엔드 오도메트리(DSO)와 $\mathrm{Sim}(3)$ 루프 제약을 가진 백엔드 포즈 그래프의 조합은 LSD-SLAM 및 ORB-SLAM과 동일한 드리프트 보정 패턴이며, 직접법과 특징점 기반이라는 두 “진영”이 서로 배타적이 아니라 상호 보완적임을 보여줍니다.

LDSO

문제

방법 및 아키텍처

실험 결과

SLAM에서의 의미

관련 문서