레벨 04 / 11

RGB-D SLAM

깊이 센서를 활용한 밀도 추적과 볼류메트릭/서펠 융합

핵심 개념

RGB-D 카메라 장치

GPGPU 프로그래밍

시스템

시스템 저자/연도 핵심 개념
ICP Besl & McKay 1992 Iterative Closest Point, 최근접점 대응, 닫힌 형태의 강체 변환, 지역적 수렴(초기화 필요), 3D-3D 정합의 토대
DTAM Newcombe 2011 → 레벨 3 직접 방법 SLAM 참고
KinectFusion Newcombe 2011 GPGPU, 추적(깊이를 3D로 투영, 표면 법선, 거친-세밀 ICP), 매핑(볼류메트릭 통합, TSDF), 작은 장면 변화에 강건, 변형 모델링 불가, 맵 증가가 3차식, 실내 방 크기 규모만 가능
Double Window Optimisation Strasdat 2011 내부 윈도우(로컬 BA) + 외부 윈도우(포즈 그래프), 공시야성 그래프, 상수 시간 최적화
Kintinuous Whelan 2012 볼륨 시프트, 기하학적, 광도적, dBoW+SURF, 최적화, 루프 클로저
RGBD-SLAM-V2 Endres 2013 추적(컬러 이미지, 시각 특징, 깊이 이미지, 포인트 클라우드, 변환), 매핑(OctoMap 2013)
SLAM++ Salas-Moreno 2013 객체 지향 SLAM
DVO Kerl 2013 키프레임, 깊이, 직접 방법, 최적화, 루프 클로저
RTAB-Map Labbé 2014 루프 클로저, 맵 병합, 다중 세션 메모리 관리
MRS-Map Stückler 2014 옥트리 기반 다중 해상도 서펠 맵, 서펠별 형태 + 색상 통계, 노이즈 인식 RGB-D 정합, CPU에서 실시간
ElasticFusion Whelan 2015 활성: 프레임-대-모델 추적(광도적 + 기하학적), 공동 최적화, 융합된 서펠 기반 모델 재구성 · 비활성: 지역 루프 클로저(모델-대-모델 지역 표면, 서브모델 분리), 전역 루프 클로저(무작위 펀 인코딩, 비강체 공간 변형)
DynamicFusion Newcombe 2015 6D 모션 필드, 변형 가능한 장면
ORB-SLAM2 (RGB-D 모드) Mur-Artal 2017 번들 조정, 희소 재구성 (→ 레벨 3에도 등장)
BundleFusion Dai 2016 로컬-투-글로벌 최적화, 희소 RGB 특징, 거친 전역 포즈 추정, 정밀 포즈 정제(기하학적 + 광도적)
SemanticFusion McCormac 2016 딥러닝 CNN, 딥 시맨틱 SLAM
InfiniTAM v3 Prisacariu 2017 추적(장면 레이캐스트, 깊이 이미지, RGB 이미지), 재지역화(무작위 펀), 매핑(TSDF 재구성, 복셀 해싱, 서펠 재구성)
Fusion++ McCormac & Clark 2018 딥러닝 CNN, Mask-RCNN 인스턴스 분할, 객체 수준 SLAM, 사전 정보 없음, 객체 수준 TSDF 재구성
PointFusion / DenseFusion Xu 2018 / Wang 2019 RGB-D 객체 6자유도 포즈 추정, 포인트 클라우드 + 이미지 특징 융합(객체 수준 SLAM을 위한 객체 프론트엔드)
BAD SLAM Schöps 2019 직접 RGB-D 번들 조정, 서펠 맵, 실시간 GPU BA, ETH3D 벤치마크
RTAB-Map (RGB-D / LiDAR) Labbé 2019 다중 센서 RGB-D/LiDAR 지원, 광원 감지 (2016)
MoreFusion Wada 2020 딥러닝 인스턴스 분할, 객체 수준 볼류메트릭 융합, 볼류메트릭 포즈 예측, 3D 장면 재구성, 충돌 기반 정제, 시맨틱 SLAM, 객체 포즈 추정, CAD 객체 피팅
NodeSLAM Sucar 2020 점유 VAE, 객체 수준 SLAM (→ 레벨 5 잠재 표현에도 등장)
DSP-SLAM Wang (UCL) 2021 DeepSDF 형태 사전 정보 + ORB-SLAM2, 객체 수준 밀도 재구성(단안/스테레오/LiDAR)