AMB3R

Wang 2025 · 논문

한 줄 요약 — DUSt3R/VGGT 계열의 피드포워드 3D 재구성 모델로, 고정된(frozen) VGGT에 메트릭 스케일 헤드와 희소 볼류메트릭 백엔드를 추가하여, 미세조정이나 테스트 시점 최적화 없이 하나의 네트워크가 다중 뷰 재구성, 보정되지 않은 시각 오도메트리, 대규모 SfM을 모두 처리하게 합니다.

문제

포인트맵 모델(DUSt3R, MASt3R, VGGT)은 픽셀별 3D 기하를 회귀하지만, 네트워크는 2D 격자 위에서 동작합니다: TSDF, 특징 격자, 좌표 네트워크가 공유하는 속성인 공간적 압축성(spatial compactness) — 하나의 3D 위치는 하나의 값을 가지며, 이것이 동일한 점에 대한 여러 관측을 일관된 기하로 융합해준다는 성질 — 이 강제되지 않습니다. 겹치는 픽셀들의 포인트맵 예측은 서로 일치하도록 암묵적으로만 유도됩니다. 이 모델들을 배치 가능한 SfM/SLAM 엔진에서 두 걸음 더 떨어뜨리는 간극도 있습니다: 예측이 메트릭 스케일이 아니라 정규화되어 있다는 점, 그리고 기존 시스템이 VO/SfM으로 동작하기 위해 최적화 기반 백엔드(예: VGGT-SLAM의 SL(4) 팩터 그래프)나 과제별 튜닝이 필요했다는 점입니다. AMB3R(“Accurate feed-forward Metric-scale 3D reconstruction with Backend”)은 하나의 모델 안에서 이 세 가지 모두를 목표로 합니다.

방법 및 아키텍처

• 프론트엔드: 고정된 VGGT가 이미지 $\{I_t\}_{t=1}^{T}$로부터 포인트맵 $P_t^{(1)}$(첫 프레임 좌표계 기준), 깊이, 카메라, 신뢰도를 예측합니다.
• 메트릭 스케일 헤드: 전역 스케일을 회귀하는 대신(프레임 조합과 순서에 따라 달라져 불안정함), 경량 헤드가 프레임마다 인코더 + 깊이 브랜치 특징으로부터 예측 깊이의 중앙값을 가지는 픽셀의 메트릭 로그 깊이를 회귀하며, 프레임들에 대한 중앙값이 재구성을 메트릭 공간에 정렬시킵니다. L1 손실로 학습됩니다.
• 희소 볼류메트릭 백엔드: 예측된 점들과 기하적 특징이 희소 복셀 격자 $\mathcal{V}$(정규화 공간에서 복셀 크기 0.01이므로, 해상도가 장면 스케일에 맞게 적응)로 풀링됩니다: $$H_i = \frac{1}{|\mathcal{P}_i|} \sum_{(t,\mathbf{u}) \in \mathcal{P}_i} G_t[\mathbf{u}], \qquad \{\hat{H}_i\}_{i=1}^{N} = (\mathcal{S}^{-1} \circ f_{\theta} \circ \mathcal{S})\left(\{H_i\}_{i=1}^{N}\right),$$ 여기서 $\mathcal{P}_i$는 3D 점이 복셀 $\mathcal{V}_i$에 속하는 픽셀들의 모음이고, $\mathcal{S}$는 공간 채움(힐베르트) 곡선을 통해 복셀들을 1D 시퀀스로 직렬화하며, $f_{\theta}$는 Point Transformer v3입니다. KNN 보간이 복셀 특징을 다시 픽셀로 매핑하고, 이들은 (ControlNet 방식의) 제로 합성곱을 통해 고정된 디코더에 주입되어 VGGT의 학습된 어텐션과 신뢰도를 재사용합니다. 백엔드 + 스케일 헤드의 학습 비용은 H100 GPU 시간 약 80시간에 불과합니다($\mathcal{L} = \mathcal{L}_{\mathrm{depth}} + \mathcal{L}_{\mathrm{pointmap}} + \mathcal{L}_{\mathrm{camera}}$이며, 감독 전에 ROE 스케일 정렬 수행).
• 보정 없는 VO, 최적화 백엔드 없음: 포인트맵 예측이 항상 첫(기준) 프레임을 기준으로 중앙값 스케일까지 표현되므로, Sim(3)/SL(4) 정렬이 필요 없습니다. 선택된 키프레임이 $N_w = 8$ 프레임씩의 새 윈도우마다 메모리 역할을 하며, 키프레임은 자세 거리로 선택됩니다. $$D_{i,j} = \arccos\left(\frac{\operatorname{Tr}(R_j R_i^{T}) - 1}{2}\right) + \lambda \lVert \tau'_i - \tau'_j \rVert_2,$$ 최소 간격은 $\eta_d = 0.15$입니다. 새 윈도우의 스케일은 공유 키프레임으로부터 $s^w = \mathrm{ROE}(P_k^{(1)}, P_k^{(1),w})$이며, 예측들은 점, 스케일, 이동, 그리고 구면 선형 보간된 쿼터니언의 신뢰도 가중 이동 평균으로 지도에 융합됩니다. 예를 들어 $P_k \leftarrow (C_k P_k + C_k^w s^w P_k^w)/(C_k + C_k^w)$입니다. 활성 키프레임은(최대 10개 → 7개) 오래된 키프레임을 재사용하여 암묵적으로 루프를 닫는 후방 탐색 윈도우로 재샘플링됩니다.
• 피드포워드 SfM: 분할 정복 방식 — 화이트닝된 디스크립터에 대한 특징 기반 이미지 클러스터링(FPS), 클러스터별 순차적 초기 등록, 그리고 키프레임 그래프에 대한 신뢰도 우선순위 BFS 정제. 어디에도 번들 조정이 없습니다.

실험 결과

13개 데이터셋에 걸쳐 7가지 과제로 평가(모든 거리는 cm 단위; ATE RMSE는 evo로 계산):

• TUM RGB에서의 VO: 평균 ATE 3.2(전체 프레임) / 2.7(키프레임) 대 이전 보정 없는 SOTA MUSt3R의 7.1 — 그리고 ETH3D SLAM에서는 2.6 대 MUSt3R의 11.2. 최적화 기반 대응 모델을 넘어선 최초의 피드포워드 VO(TUM에서 DROID-VO 11.4, GlORIE-VO 9.3).
• TUM에서의 SLAM 비교 (키프레임 프로토콜, 기준선은 루프 클로저 + 전역 BA 허용): AMB3R 2.7이 보정 없는 VGGT-SLAM(5.3)과 MASt3R-SLAM(6.0), 심지어 보정된 MASt3R-SLAM(3.0)까지도 궤적 후처리 없이 능가.
• 7-Scenes: 평균 ATE 2.1로, 신규 뷰 합성 PSNR로 검증했을 때 데이터셋 자체의 KinectFusion 유사 그라운드 트루스(5.7)보다 낮음.
• 다중 뷰 깊이 (RMVDB): 평균 rel 1.7 / $\delta_{1.03}$ 87.3 — 새로운 SOTA로, VGGT(2.4 / 81.3)와 동시대 연구인 $\pi^3$(1.8 / 85.6)을 앞서고, 포즈가 주어진 MVSA(2.7 / 77.0)보다 우수.
• 3D 재구성: ETH3D(4.64/9.98/9.69), DTU(0.81/0.22/0.08 — 밀리미터 단위 물체 정확도), 7-Scenes(4.74/1.74/2.84)에서 최고의 rel/정확도/완전성.
• ETH3D에서의 SfM: RRA@5 98.2 / RTA@5 평균 81.9로, 최적화 기반 BA 없이도 MASt3R-SfM의 81.2/79.7을 상회.
• 그 외: RealEstate10K에서의 카메라 자세 AUC@30 86.3(VGGT 85.3); NYUv2(rel 3.0)와 ETH3D(3.2)에서 제로샷 단안 깊이 SOTA; 동적 학습 없이도 MegaSaM에 근접하는 TUM Dynamic에서의 경쟁력 있는 동적 장면 VO(평균 1.9). 코드, 가중치, 평가 툴킷이 오픈소스로 공개됨.

SLAM에서의 의미

포인트맵 계열은 점진적으로 고전적인 SfM/SLAM 스택을 흡수하고 있으며, AMB3R은 하나의 경계선을 표시합니다: 보정 없는 피드포워드 시스템이 TUM에서 보정된 최적화 기반 SLAM을 능가한 것입니다. 두 가지 아이디어가 독립적으로 중요합니다 — 고정된 특징으로부터 복원된 메트릭 스케일은 IMU나 스테레오 없이 단안 스케일 모호성을 해결하며, 콤팩트한 3D 백엔드는 포인트맵 회귀가 잃어버린 공간적 압축성 사전(prior)을 학문적 규모의 학습 비용으로 복원합니다. 남아 있는 한계(명시적인 루프 클로저나 재지역화 없음, 뷰 수에 대한 2차 어텐션 비용, 기준 프레임 사전에 대한 의존)는 최적화 백엔드가 여전히 제 값을 하는 지점을 정확히 보여줍니다.

관련 문서

• DUSt3R
• MASt3R
• VGGT
• MASt3R-SLAM
• VGGT-SLAM — AMB3R이 불필요하다고 주장하는 최적화-백엔드 대안
• COLMAP
• Scale ambiguity