파운데이션 모델
*파운데이션 모델(foundation model)*이란 대규모의 다양한 데이터에서 한 번 사전학습된 후, 고정된 특징 추출기로 그대로 쓰이거나 경미하게 미세조정되거나 프롬프팅되어 여러 다운스트림 작업에 재사용되는 대형 네트워크를 말한다. 이 용어가 SLAM 어휘에 들어온 것은, 이러한 모델들의 물결이 인식 백본으로 곧바로 유용하다는 것이 드러났기 때문이다: CLIP(이미지-텍스트 임베딩), SAM(프롬프트 가능한 세그멘테이션), DINOv2(자기지도 시각 특징), Depth Anything(단안 깊이), 그리고 DUSt3R 계열(원시 이미지 쌍으로부터의 양안 3D 재구성).
무엇이 바뀌었나
이것이 왜 중요한지는 이전의 표준과 대비할 때 가장 잘 드러난다. 고전적인 학습 모듈(SuperPoint, MonoDepth)은 적당한 규모의 데이터셋에서 태스크별로 학습되어 그 편향을 그대로 물려받았고, 새로운 도메인에 배치하려면 흔히 재학습이 필요했다. 파운데이션 모델은 이 경제성을 바꾼다.
- 제로샷 강건성: 인터넷 규모 데이터로 사전학습된 특징은 조명, 계절, 스타일 같은 외관 변화를 견뎌내는데, 이는 수작업 특징과 소규모 학습 특징 모두를 깨뜨리는 변화다. 예를 들어 RoMa는 바로 이러한 강건성을 위해 고정된 DINOv2 특징 위에 조밀 매칭을 구축한다.
- 재사용 가능한 백본: 하나의 고정된 인코더가 장소 인식, 매칭, 세그멘테이션, 깊이 헤드를 동시에 지원할 수 있다 — 로봇에서 여러 작업이 연산을 공유해야 할 때 매력적인 특성이다.
- 개방형 어휘 의미론: CLIP 스타일 임베딩은 지도가 고정된 레이블 집합 없이 언어 질의(“소화기를 찾아라”)에 응답하도록 만든다 — ConceptFusion, ConceptGraphs, 언어 기반 scene graph의 토대다.
- 대규모 기하학적 사전 정보: DUSt3R와 MASt3R는 전통적으로 다중 뷰 기하학의 영역이던 3D 재구성 자체도, 이미지 쌍으로부터 직접 포인트맵을 출력하는 사전학습 모델로 흡수될 수 있음을 보이며, 그 위에 SLAM 시스템(MASt3R-SLAM)이 구축된다.
각 계열이 제공하는 것
| 계열 | 학습 데이터 / 방식 | SLAM이 얻는 것 |
|---|---|---|
| CLIP / SigLIP | 이미지-텍스트 쌍, 대조 학습 | 지도와 장소 설명을 위한 개방형 어휘 의미론 |
| SAM / SAM 2 | 대규모 프롬프트 가능 세그멘테이션 | 객체 수준 및 동적 SLAM을 위한 클래스 무관 인스턴스 마스크 |
| DINOv2 | 자기지도 ViT | 매칭, VPR, 대응점 탐색을 위한 강건한 조밀 특징 |
| Depth Anything (V1/V2), Metric3D | 대규모 (자기)지도 깊이 학습 | 깊이 센서가 없는 곳을 위한 조밀 단안 깊이 사전 정보 |
| DUSt3R / MASt3R / VGGT | 포즈가 있는 이미지 쌍/집합 | 피드포워드 포인트맵, 매칭, 포즈 — 추론으로서의 기하학 |
이 목록을 알고 있으면 시스템을 설계할 때 무엇을 “공짜로” 얻을 수 있는지, 그리고 그것이 고전적인 레벨 3/4 모듈 중 어느 것을 대체할 수 있는지 알 수 있다.
SLAM 시스템은 실제로 이를 어떻게 소비하는가
- 고정된 특징 + 고전적 추정: 파운데이션 특징을 추출한 다음, 그 위에서 고전적인 매칭/RANSAC/BA를 실행한다(DINOv2 위의 RoMa; 서펠 또는 가우시안별로 CLIP 특징을 융합하는 개방형 어휘 지도). 기하학은 정밀하게 유지되고, 인식만 강건해진다.
- 피드포워드 기하학 + 얇은 SLAM 레이어: DUSt3R 계열 모델은 포인트맵을 직접 출력하며, MASt3R-SLAM 같은 시스템은 이 네트워크 주위에 키프레이밍, 필터링, 전역 최적화를 추가한다 — 모델이 프론트엔드이자 미드엔드의 대부분을 차지한다.
- 키프레임 단위 스케줄링과 증류: 프레임마다 ViT-L을 돌리는 것은 임베디드 하드웨어에서 감당할 수 없으므로, 시스템은 파운데이션 모델을 키프레임에서만 실행하거나 그 출력을 지도에 캐시하거나, 프레임 단위 경로를 위해 작은 학생 모델로 증류한다.
감안해야 할 트레이드오프
- 연산 부담: 임베디드 하드웨어에서의 실시간 SLAM은 프레임마다 대형 ViT 추론을 감당하지 못할 수 있다 — 처음부터 키프레임 단위 사용이나 증류를 고려해야 한다.
- 거친 출력: 특징은 대체로 패치 해상도(예: 이미지의 1/14)로 나오고, 깊이 예측은 흔히 메트릭이 아니라 상대적/어파인 스케일이다 — 기하학적 최적화 전에 정밀도 지향 정제 또는 스케일 정렬 단계가 대개 필요하다.
- 통계적 실패 모드: 파운데이션 모델은 재투영 오차 검사가 잡아낼 수 있는 방식으로 확신 있게 틀릴 수 있다 — 반사면에서의 환각적 깊이, 의미상 타당하지만 기하학적으로 일관되지 않은 매칭 등. 이는 네트워크 출력을 무조건 신뢰하기보다 고전적인 기하학적 검증을 루프 안에 유지해야 한다는 강력한 근거다.
- 라이선스와 재현성: 모델 가중치, 학습 데이터, 사용 조건은 제각각이다 — 고정된 서드파티 백본 위에 구축된 시스템은 그 업데이트 주기와 편향을 그대로 물려받는다.
실용적인 레시피
레벨 5 이후에 걸쳐 나타나는 패턴은 이렇다: 파이프라인에서 강건성이 중요하거나, 의미론적이거나, 조건이 나쁜 부분(장소 인식, 넓은 베이스라인 매칭, 단안 깊이, 개방형 어휘 레이블)에는 파운데이션 모델 특징을 사용하고, 정밀도가 중요한 부분(포즈 최적화, 매핑 일관성)에는 고전적 추정을 유지하는 것이다. 가장 최신 시스템들 — MASt3R-SLAM, ConceptGraphs 스타일 의미론적 매핑 — 은 정확히 이런 형태다: 대형 사전학습 모델 위에 얹힌 얇은 기하학 레이어.
SLAM에서의 의미
파운데이션 모델은 SLAM 프론트엔드의 정의를 다시 쓰고 있다: 태스크별 네트워크를 학습하는 대신, 현대 시스템은 점점 고정된 사전학습 백본을 조합한다 — 그리고 가장 최신의 SLAM 시스템(MASt3R-SLAM, ConceptGraphs 스타일 의미론적 매핑)은 바로 이러한 모델 위에 얹힌 얇은 기하학 레이어다. 각 계열이 무엇을 제공하는지(CLIP: 의미론, SAM: 마스크, DINOv2: 강건한 특징, Depth Anything: 깊이, DUSt3R: 기하학) 아는 것은 시스템을 설계할 때 무엇을 “공짜로” 얻을 수 있는지를 알려준다.