ACE-G

Bruns 2025 · 논문

한 줄 요약 — 장면 좌표 회귀를 장면 독립적인 교차 어텐션 회귀기와 장면 특화 “맵 코드”로 분리하고, 매핑-대-쿼리 목적함수를 명시적으로 사용하여 회귀기를 수만 개의 장면으로 사전 학습함으로써, 매핑 중에는 보지 못한 쿼리 조건에도 재위치 인식이 일반화되도록 한다(ICCV 2025).

문제

몇 분간의 장면 특화 학습을 거친 후, SCR 모델은 쿼리 이미지의 카메라 포즈를 높은 정확도로 추정한다 — 그러나 여전히 고전적인 특징 매칭 접근법의 일반화 성능에는 미치지 못한다. 쿼리 이미지의 촬영 조건(조명, 시점)이 학습 뷰와 너무 다를 경우 SCR 모델은 실패한다. 이는 기존 SCR 프레임워크의 본질적인 한계다: 그 학습 목적함수는 학습 뷰를 좌표 회귀기 자체의 가중치에 인코딩하는 것이므로, 회귀기는 설계상 학습 뷰에 과적합된다.

방법 및 아키텍처

ACE는 장면 독립적인 합성곱 이미지 인코더와 장면 특화 MLP 헤드로 구성된다. ACE-G는 이 MLP를 장면 특화 맵 코드 $\mathcal{C} = \{\mathbf{c}_i \in \mathbb{R}^{D_\text{map}}\}$에 조건화된 장면 독립적 좌표 회귀기 $f_\theta$로 대체한다:

$$f_\theta : \mathbb{R}^{D_\text{feat}} \times \mathcal{P}\big(\mathbb{R}^{D_\text{map}}\big) \to \mathbb{R}^3, \qquad (\mathbf{e}, \mathcal{C}) \mapsto \mathbf{y},$$

여기서 $\mathbf{e}$는 DINOv2 이미지 인코더로부터 얻은 패치 임베딩이며 $\mathbf{y}$는 예측된 장면 좌표다. 회귀기는 교차 어텐션만으로 이루어진 $N$개의 트랜스포머 블록을 쌓은 것으로 — 패치 임베딩이 쿼리 토큰 역할을, 맵 임베딩이 키/값 역할을 하며(위치 인코딩이 없어 맵 코드는 순서에 무관함), 그 뒤에 $\mathbf{y}$와 라플라스 불확실성 $\sigma_y$를 출력하는 2계층 MLP가 이어진다.

매핑/쿼리 사전 학습. 학습 세트는 실측 좌표를 가진 매핑 버퍼 $\mathcal{M}_i$와 이와 분리된 쿼리 버퍼 $\mathcal{Q}_i$(다른 시점, 조명, 물체 배치)의 튜플 모음이다. 학습은 두 종류의 반복을 번갈아 수행한다:

• 매핑 반복은 라플라스 음의 로그 우도를 사용하여 매핑 버퍼에서 네트워크 $\theta$와 맵 코드 $\mathcal{G}$를 공동으로 최적화한다:

$$\theta^\ast, \mathcal{G}^\ast = \arg\min_{\theta, \mathcal{G}} \; \mathbb{E}_{\mathcal{M}}\left[ \log\tilde{\sigma}_{y} + \sqrt{2}\,\frac{\lVert \tilde{\mathbf{y}} - \mathbf{y} \rVert}{\tilde{\sigma}_{y}} \right]$$

• 쿼리 반복은 쿼리 버퍼에서 동일한 손실을 최소화하지만 맵 코드는 고정한 채 $\theta$만을 업데이트한다 — 이는 회귀기가 (맵 코드에 저장된) 매핑 데이터로부터 보지 못한 쿼리 뷰로 명시적으로 일반화하도록 강제한다.

네트워크는 10번의 반복마다 한 번씩만 업데이트되고(나머지 9번은 맵 코드를 업데이트), 특정 맵 코드에 대한 과적합을 피하기 위해 활성 풀에서 장면을 반복적으로 처음부터 다시 매핑한다. 사전 학습은 수만 개의 스캔을 사용한다: ScanNet(1201), ScanNet++(199), ARKitScenes(4520), MapFree(2×400), BlendedMVS(462), WildRGBD(22359).

새 장면 매핑. 무작위로 초기화된 맵 코드만 최적화하며, 2D 재투영 오차의 불확실성 가중 NLL $\log\tilde{\sigma}_{x} + \sqrt{2}\,\lVert \tilde{\mathbf{x}} - \mathbf{x} \rVert / \tilde{\sigma}_{x}$를 최소화한다 — 따라서 매핑 시점에는 실측 3D가 필요 없으며, ACE와 마찬가지로 매핑에는 여전히 몇 분이 걸린다.

재위치 인식. 단일 순전파로 불확실성이 있는 2D-3D 대응점을 얻는다; 대응점은 적응형 임계값 $\sigma_\text{thresh} = f \cdot Q_p(\Sigma)$(불확실성의 최하위 $p$-분위수, $p{=}0.1$, $f{=}2.0$)로 사전 필터링되고 PnP + RANSAC에 전달된다 — 고전적 SCR과 동일한 출력 인터페이스다.

실험 결과

• Indoor-6(5°/25 cm 이내 프레임 비율(%), 장면별 평균의 중간값 cm/°): 5분 매핑 그룹에서 ACE-G는 95 / 4.5 / 0.8을 기록하며, DINOv2 특징에 ACE 헤드를 결합한 DINO-ACE는 91 / 5.6 / 1.0, 원래 ACE는 70 / 11.0 / 1.8이다 — 즉 DINOv2 특징과 쿼리 사전 학습된 회귀기 모두가 기여한다. 25분 매핑에서는 ACE-G가 96 / 3.7 / 0.7에 도달하며, GLACE(93 / 3.5 / 0.6)와 대등하고, 맵 크기는 12 MB인 반면 MASt3R+Kapture(94 / 2.5 / 0.5, 5–10시간 매핑)는 약 5 GB다.
• RIO10(물체 배치가 바뀐 재스캔 장면; 평균 중간값 오차): ACE-G 41.1 cm / 13.8°, DINO-ACE 83.8 / 15.9, ACE 358.4 / 58.7 — 중간값 오차는 모든 장면에서 1 m 미만으로 유지되는 반면, MASt3R은 일부 장면에서 이미지의 50% 이상을 포즈화하는 데 실패한다.
• Cambridge Landmarks(실외, 실내 위주 사전 학습에 대해 분포 밖): ACE-G(평균 25.3 cm / 0.4°)는 DINO-ACE보다 눈에 띄게 개선되지만 GLACE(13.5 cm / 0.3°)에는 못 미치고 ACE보다 약간 나쁘다 — 현재 사전 학습 범위가 갖는 정직한 한계다.

SLAM에서의 의미

SCR 계보는 배치 비용을 꾸준히 제거해 왔다: DSAC은 SCR을 종단간으로 학습 가능하게 만들었고, ACE는 장면당 학습을 몇 분으로 줄였으며, ACE Zero는 알려진 포즈에 대한 필요성을 제거했고, ACE-G는 남은 약점 — 장면 특화 회귀기의 설계상 과적합 — 을 공격한다. 일반화 가능한 재위치 인식은 장면별 최적화가 운용상 비용이 큰 소비자용 AR과 함대 규모 로보틱스에서 중요하다. 이는 또한 장면별 최적화를 대형 사전 학습 모델의 피드포워드 추론으로 대체하는 Level 5의 더 넓은 흐름과도 맞닿아 있다.

관련 문서

• ACE
• ACE Zero
• DSAC*
• ACE-SLAM