딥러닝 + SLAM

핵심 개념

• 학습 기반 vs 수작업 설계 — 개별 고전 모듈(특징, 깊이, 매칭)을 신경망으로 대체하는 것 vs 종단간 학습
• 미분 가능성 — 고전적 최적화(RANSAC, BA)를 미분 가능하게 만들어 학습을 통과시킬 수 있도록 하는 것
• 파운데이션 모델 — 재사용 가능한 인식 백본으로서의 대규모 사전학습 모델(CLIP, SAM, DUSt3R 계열)

레벨 5는 다섯 개의 축으로 구성됩니다: A. 프론트엔드 — 수작업 설계 모듈을 대체하는 학습된 인식 구성 요소 B. 백엔드 — 고전적 솔버를 대체하는 학습된/인증 가능한 최적화 C. 시스템 — 종단간 딥 VO/SLAM 파이프라인 D. 장면 이해 — SLAM 지도에 대한 시맨틱, 언어, 관계적 추론 E. 파운데이션 모델 및 신경망 SLAM — 포인트맵 Transformer, NeRF 및 3DGS 기반 밀도 SLAM 시스템

A. 딥러닝 프론트엔드 — 인식

특징 검출 및 매칭

깊이 추정

옵티컬 플로우 및 장면 플로우

카메라 포즈 회귀 및 재위치 추정

SLAM을 위한 객체 검출 및 분할

B. 딥러닝 백엔드 — 최적화

미분 가능 번들 조정

C. 종단간 딥 VO / SLAM 시스템

자기지도 학습 및 학습 기반 VO

학습 기반 SLAM 시스템

잠재 표현 SLAM

신경 렌더링 (참조)

NeRF/3DGS 기반 SLAM 시스템 → 아래 E축 참고

D. 장면 이해

벤치마크 및 기초

3D 장면 그래프

의미론적 / 언어 기반 SLAM

참고: LEGS, OpenGS-SLAM (위의 E축); Open-YOLO 3D (레벨 5 객체 검출)

E. 파운데이션 모델 및 신경망 표현 SLAM

파운데이션 모델 SLAM

NeRF 기반

3DGS 기반