UcoSLAM

Muñoz-Salinas 2019 · 논문

한 줄 요약 — 자연 키포인트와 정사각형 평면 피듀셜 마커(ArUco)를 하나의 SLAM 프레임워크에서 결합하여, 마커의 신뢰성과 미터 단위 스케일을 자연 특징점의 커버리지와 결합합니다.

문제

대부분의 SLAM 시스템은 키포인트와 같은 자연 랜드마크를 사용하지만, 이들은 “시간에 따라 불안정하거나, 많은 경우 반복적이거나, 강건한 추적에 불충분(예: 실내 건물에서)“하며, BoW 재지역화는 시점 변화와 반복적인 패턴 아래에서 성능이 제한적입니다. 마커만 사용하는 SLAM(저자들의 이전 연구인 SPM-SLAM)은 명확한 데이터 연관과 정확한 미터 단위 스케일을 제공하지만, 이미지마다 최소 두 개의 마커가 보여야 하므로 넓은 환경으로 확장할 수 없습니다. UcoSLAM은 두 랜드마크 유형을 하나의 지도에 통합합니다: 마커가 하나라도 보이는 즉시 스케일이 고정되고, 마커는 전략적 위치에만 배치할 수 있으며, 나머지 모든 곳은 키포인트가 커버리지를 제공합니다.

방법 및 아키텍처

지도는 $\mathcal{W}=\{\mathcal{K},\mathcal{P},\mathcal{M},\mathcal{G},\mathcal{D}\}$입니다: 키프레임 $\mathcal{K}$, 삼각측량된 지도점 $\mathcal{P}$, 마커 $\mathcal{M}$(각각 변의 길이 $s$, 포즈 $\mathrm{M}\in\mathbb{SE}(3)$, 알려진 네 개의 코너를 가짐), 공시야성 그래프 $\mathcal{G}$(공유된 포인트는 엣지에 가중치 1을, 공유된 마커는 4를 추가함), FBoW 키프레임 데이터베이스 $\mathcal{D}$. 파이프라인은 고전적인 ORB-SLAM 스타일 루프입니다 — 초기화, 추적, 키프레임 삽입, 지역/전역 최적화, 루프 클로징, 재지역화 — 여기에 병렬 Map Manager 스레드와, 배포를 위한 지도 저장/로드 기능이 더해집니다.

• 초기화는 키포인트 기반(호모그래피 대 필수행렬, ORB-SLAM2와 동일) 초기화와 마커 기반(SPM-SLAM) 초기화를 병렬로 수행합니다. 마커가 우선권을 가져 즉각적인 미터 단위 스케일을 제공하며, 마커 포즈 모호성(먼 거리의 평면 마커에 대한 거의 동일한 두 개의 재투영)은 다중 뷰를 사용해 해소됩니다.
• 추적은 포인트와 마커 코너의 재투영 오차를 결합하여 최소화합니다. 재투영 오차를 $e(\mathrm{T},\mathbf{x},\delta,\mathbf{u})=\Psi(\mathrm{T},\mathbf{x},\delta)-\mathbf{u}$(투영 함수 $\Psi$, 카메라 내부 파라미터 $\delta$)로 정의하면, 프레임 포즈는

$$\mathbf{f}_{\mathrm{T}}=\arg\min_{\mathrm{T}}\left(\mathbf{w_p^f}\,H(\Upsilon_p^{\mathbf{f}},\mathrm{T})+\mathbf{w_m^f}\,H(\Upsilon_m^{\mathbf{f}},\mathrm{T})\right),$$

이며, 여기서 $H(\Upsilon_p^{\mathbf{f}},\mathrm{T})$는 포인트 재투영 오차의 Huber 로버스트화된 합(거친 피라미드 레벨에서 온 키포인트의 가중치를 낮추는 $\Omega_{\mathbf{g}}=\eta^{-\mathbf{g}_l}\mathrm{I}$로 가중됨)이고, $H(\Upsilon_m^{\mathbf{f}},\mathrm{T})$는 각 유효 마커의 네 코너의 제곱 재투영 오차를 합산합니다. 포인트가 마커보다 훨씬 많으므로, 균형은 다음으로 설정됩니다

$$\mathbf{w_m^f}=\frac{1}{2}\min\left(1,\frac{\mathbf{n_f}}{\tau_m}\right),\qquad \mathbf{w_p^f}=1-\mathbf{w_m^f},$$

여기서 $\mathbf{n_f}$는 프레임 내 유효한 마커 수이고 $\tau_m=5$가 기본값입니다.

• 지도 최적화는 키프레임 포즈, 포인트 위치, 마커 포즈에 대한 희소 레벤버그-마쿼트 번들 조정입니다: $\arg\min_{\mathbf{k}_{\mathrm{T}},\mathbf{p}_{\mathbf{x}},\mathbf{m}_{\mathrm{M}}} E(\Upsilon_p)+E(\Upsilon_m)$이며, 키프레임 삽입 후에는 지역적으로(공시야 키프레임에 대해), 루프 클로저 후에는 전역적으로 수행됩니다.
• 루프 클로저 및 재지역화는 마커를 우선시합니다: 참조 키프레임 근처에서 관측되지 않은 마커가 재관측되면, 즉각적이고 모호함 없는 루프 클로저가 트리거됩니다 — 마커가 추적에 허용되기 전에 $\mathrm{Sim}(3)$ 포즈 그래프 최적화로 보정됩니다 — 한편 키포인트 루프 클로저는 FBoW를 통해 비동기적으로 실행됩니다. 재지역화는 먼저 알려진 마커를 시도하고, 실패하면 BoW + RANSAC PnP로 넘어갑니다.
• **컬링(culling)**은 각 마커에 대해 그것을 관측한 가장 멀리 있는 키프레임 3개를 유지한 다음, 매칭된 포인트가 다른 세 개 이상의 키프레임에서 관측되는 키프레임을 제거합니다.

실험 결과

KITTI(단안 시퀀스 20개), EuRoC-MAV(20개), TUM RGB-D(10개), SPM(8개)에서 ORB-SLAM2 및 LDSO와 비교되었으며, ATE(공통으로 추적된 프레임에서 계산)와 추적된 프레임의 비율을 결합한 제안된 쌍별 점수 $\mathbf{S}_{\rho}(\mathbf{a},\mathbf{b})\in[-1,1]$를 사용했습니다. ORB-SLAM2는 신뢰 수준 $\rho$ 전반에서 UcoSLAM 대비 $-0.10$에서 $-0.14$의 점수를 기록합니다(UcoSLAM이 약간 더 우수). LDSO는 UcoSLAM 대비 $-0.37$에서 $-0.40$의 점수를 기록합니다(명백히 더 열등). 마커가 설치된 SPM 데이터셋에서는 키포인트+마커 조합이 마커만 사용하는 방식(대비 $\mathbf{S}$가 $-0.187$에서 $-0.625$)과 키포인트만 사용하는 방식(예: video1에서 100% 추적 시 ATE 0.057m 대비, 키포인트만으로는 64.5% 추적 시 0.601m) 모두를 능가합니다. 평균 속도(추적된 프레임에 대한 fps)는 UcoSLAM이 2.6(SLAM)/19.8(추적)이며, ORB-SLAM2는 1.6/12.5, LDSO는 3.0/2.4로, Wilcoxon 검정이 ORB-SLAM2 대비 유의성을 확인합니다. 반복적인 오피스 빌딩(천장 마커 50개, 약 20m 복도 4개, 12,000프레임의 휴대폰 시퀀스)에서 ORB-SLAM2, LDSO, 그리고 단일 랜드마크만 사용하는 두 UcoSLAM 모드는 모두 실패했습니다. 결합된 키포인트+마커 모드만이 일관된 지도를 구축했으며, BoW 재지역화가 프레임당 최대 6개의 오탐 후보를 반환하는 상황에서 마커 ID가 이를 명확히 구분해 냈습니다.

SLAM에서의 의미

UcoSLAM은 인공 랜드마크와 자연 랜드마크가 상호 보완적임을 보여줍니다: 마커는 미터 단위 스케일, 드리프트 없는 앵커, 신뢰할 수 있는 재지역화/루프 클로저를 제공하고, 특징점은 그 사이의 연속적인 커버리지를 제공합니다. 이는 창고, 실험실, 산업용 AR 설비와 같이 여러분이 직접 관리하는 환경에서 매우 실용적입니다. 몇 개의 마커를 배치하는 것이 저렴한 보험이 되기 때문이며, 지도 저장/로드 설계 덕분에 당시 연구 시스템 중에서도 이례적으로 배포에 친화적이었습니다.

관련 문서

• ORB-SLAM2 — UcoSLAM이 기반으로 삼는 키포인트 기반 SLAM 설계
• Scale ambiguity — 마커가 공짜로 해결해 주는 단안 문제
• Visual Place Recognition (VPR) — 마커가 대체하는 외관 기반 루프 클로저
• Landmark — 지도 랜드마크에 대한 일반적인 개념
• LDSO — 비교 대상이 된 직접 방법 기준선