FutureMapping 1

Davison 2018 · 논문

한 줄 요약 — SLAM이 일반적인 “Spatial AI”로 진화할 것이며, 실제 제품과의 간극을 좁히려면 그래프 프로세서와 새로운 센서와 함께 알고리즘을 공동 설계해야 한다고 주장하는 비전 제시형 포지션 논문 — SLAM 연산의 희소한 그래프 구조를 그것이 돌아가는 하드웨어에 맞추는 것이다.

문제

증강 현실 안경이나 소비자용 로봇 같은 장치가 요구할 시각 인식 성능과, 실제 제품에 부과되는 제약(전력, 크기, 비용, 지연) 안에서 가능한 것 사이에는 여전히 큰 간극이 있다(SemanticFusion 같은 프로토타입 시스템은 필요한 능력의 일부만을 위해서도 무거운 연산을 요구한다). Davison은 근본적인 병목이 Spatial AI의 연산 구조 — 학습된 구성 요소와 결합된 분산적이고 희소한 그래프 구조 추정 — 와, 데이터 이동이 비용을 지배하는 중앙집중적이고 메모리 병목이 있는 CPU/GPU 아키텍처 사이의 불일치라고 주장한다. 이 간극을 좁히려면 알고리즘, 프로세서, 센서의 통합적 설계가 필요하다.

방법 및 아키텍처

이는 분석/포지션 논문이므로 그 “방법”은 수식을 가진 알고리즘이 아니라 아키텍처적 논증이다.

SLAM에서 Spatial AI로. 목표는 추상적인 장면 이해가 아니라, 신체화된(embodied) 실시간 폐루프 능력이다: (1) 카메라 상태를 추정하면서 지속적인 세계 모델(기하학적, 외관, 의미론적이며 공간 영역당 저장량이 유한한)을 점진적으로 구축하고 정제한다; (2) 낮은 지연으로 새 이미지를 모델과 비교한다(데이터 연관); (3) 추적과 지도 갱신을 통해 업데이트한다. 완전히 생성적인 조밀 모델이 선호되는 이유는, 모든 픽셀을 예측과 대조해 검증할 수 있기 때문이다 — “무언가 비정상적인 것을 인식하려면, 정상적인 것에 대한 완전한 예측 모델을 유지하라.”
SLAM 속의 그래프. 이 논문은 자연스러운 그래프 구조들을 짚어낸다: 픽셀의 규칙적인 이미지 그래프, 재구성된 장면의 비정형적인 다중 스케일 지도 그래프, 그 둘 사이의 동적으로 변하는 이미지/모델 대응 관계, 그리고 실시간 루프의 연산 그래프(KinectFusion에 대한 SLAMBench 분석을 확장하여 구체적으로 그려짐)로, 그 구성 요소는 CNN 레이블링, 렌더링(모델-이미지 예측), 추적, 융합, 지도 통합, 재위치추정/루프 클로저 탐지, 지도 일관성 최적화, 자기지도 학습이다.
제안된 장치 아키텍처(“Spatial AI 브레인”). 세계 모델을 여러 코어에 분산시켜 그 상호연결이 지도 그래프 위상을 그대로 반영하고 (클러스터링, 세그멘테이션, 루프 클로저 탐지/최적화, 정규화를 통해) 제자리에서 스스로를 정제하는 지도 저장소와, 대규모 병렬 이미지 대면 연산을 담당하는 실시간 루프 영역을 결합한 메인 프로세서. 여기에 각 센서의 예측 모델을 실행하는 카메라 인터페이스가 더해진다. 루프 클로저와 번들 조정은 “그래프 프로세서에서 메시지 전달 방식으로 구현하기에 적합한” 그래프 알고리즘으로 특별히 지목된다.
하드웨어 지형. CPU/GPU는 별도의 연산부와 메모리 사이에서 비용이 큰 데이터 전송을 필요로 하며, 임베디드 비전 칩(Movidius Myriad, HoloLens HPU)은 애드혹하다. 흥미로운 승부수는 저장소와 연산이 분산된 그래프/뉴로모픽 설계다: Graphcore의 IPU(각각 로컬 메모리를 가진 수천 개의 상호연결 코어, Poplar가 프로그램을 그래프 위상으로 컴파일)와 SpiNNaker(최대 백만 개의 ARM 코어).
센서 근접 처리와 일반화된 이벤트 카메라. 처리는 센서 안이나 그 근처로도 옮겨져야 한다 — 예를 들어 SCAMP5 비전 칩(256×256 픽셀, 1.2W, TV-L1 스타일 optical flow 같은 로컬 연산을 위한 픽셀별 아날로그 연산) — 그리고 이벤트 카메라 개념은 일반화되어야 한다: 모델 예측이 카메라로 전송되면, 이상적인 센서는 데이터가 예측과 다른 곳에서만 전송한다.
능동 비전의 귀환. 상향식(bottom-up) “무차별” 처리가 MonoSLAM 시대의 능동 탐색 이후 매번 승리했지만, 그래프 프로세서는 (SLAM++의 객체 수준 지도의 정신을 이어) 하향식의 예측 기반 연산 배분을 다시 매력적으로 만든다.

실험 결과

포지션 논문이기에 실험은 보고하지 않으며, 그 결과물은 일련의 예측과 연구 프로그램이다(전체 논증은 논문을 참고하라. 여기에는 순수 궤적 벤치마크를 대체하려는 Spatial AI 지표의 다목적 집합 제안이 포함된다 — 지역 포즈 정확도/드리프트, 포즈 반복성, 추적 및 재위치추정 강건성, 지연, 픽셀별 조밀 거리 예측 정확도, 물체 세그멘테이션/분류 정확도, AR 픽셀 정합, 장면 변화 탐지, 전력 사용, 비트×밀리미터 단위의 데이터 이동량). 이 논문이 씨앗을 뿌린 구체적인 후속 연구들이 그 프로그램을 입증한다: FutureMapping 2(GBP 프레임워크), Bundle Adjustment on a Graph Processor(첫 IPU 시연), 그리고 분산 다중 로봇 GBP(DANCeRS). 또한 이 논문은 지금 하나의 부분 분야 전체를 지칭하는 “Spatial AI”라는 표현을 만들어냈다.

SLAM에서의 의미

이 논문은 SLAM 커뮤니티의 상당 부분의 연구 의제를 재구성했다: “Spatial AI”라는 표현을 만들어내고 그래프 프로세서 연구 프로그램(FutureMapping 2, IPU 상의 번들 조정, 분산 다중 로봇 GBP)을 시작시켰다. 구체적인 하드웨어 승부수가 아직 상업적으로 실현되지 않은 부분에서도, 인식 알고리즘과 연산 기반이 희소한 그래프 구조를 중심으로 공동 설계되어야 한다는 이 논문의 논증은 사람들이 AR 안경과 임베디드 로봇에서의 SLAM을 생각하는 방식을 형성하고 있다.

FutureMapping 1

문제

방법 및 아키텍처

실험 결과

SLAM에서의 의미

관련 문서