KinectFusion

Newcombe 2011 · 논문

한 줄 요약 — GPU 가속 체적 TSDF 융합과 거칠기-에서-세밀도 점-대-평면 ICP 추적을 사용하여 30,Hz로 방 크기 장면을 재건한 최초의 실시간 RGB-D 밀도 SLAM 시스템.

문제

KinectFusion 이전에는 밀도 3D 재건에 고비용의 오프라인 처리나 느린 순차 알고리즘이 필요했습니다. 소비자용 Kinect는 갑자기 30,Hz의 저가 640x480 깊이 스트림을 제공하게 되었지만, 그 데이터를 실시간으로 일관된 표면 모델로 융합할 수 있는 시스템은 없었습니다. KinectFusion은 완전히 GPU에 상주하는 파이프라인 — 오프라인 단계도, 특징 추출도 없이 — 으로 이 간극을 메워, 게임용 주변기기를 실시간 3D 스캐너로 바꾸어 놓았습니다.

방법 및 아키텍처

전체 루프는 매 프레임 GPU에서 실행됩니다: 깊이 캡처 → 이중선형 필터 → 정점/법선 맵 피라미드 → ICP(3단계) → TSDF 통합 → 레이캐스트 표면 예측이며, 레이캐스트 예측이 다음 프레임의 추적 기준이 됩니다.

표면 측정. 원시 깊이는 이중선형 필터링되고, 유한 차분으로 얻은 법선 Nk\mathbf{N}_k와 함께 정점 맵 Vk\mathbf{V}_k로 역투영된 뒤, 블록 평균화 및 서브샘플링을 거쳐 3단계 피라미드로 만들어집니다.

센서 포즈 추정(프레임-대-모델, 점-대-평면 ICP). 포즈 Tg,k∈SE(3)\mathbf{T}_{g,k} \in \mathrm{SE}(3)는 라이브 측정치와 레이캐스트된 모델 예측 (V^k−1,N^k−1)(\hat{\mathbf{V}}_{k-1}, \hat{\mathbf{N}}_{k-1}) 사이의 전역 점-평면 에너지를 최소화하여 구합니다.

E(Tg,k)=∑u, Ωk(u)≠null∥(Tg,kV˙k(u)−V^k−1g(u^)) ⁣⊤N^k−1g(u^)∥2E(\mathbf{T}_{g,k}) = \sum_{\mathbf{u},\,\Omega_k(\mathbf{u}) \neq \text{null}} \Big\| \big(\mathbf{T}_{g,k}\dot{\mathbf{V}}_k(\mathbf{u}) - \hat{\mathbf{V}}^{g}_{k-1}(\hat{\mathbf{u}})\big)^{\!\top} \hat{\mathbf{N}}^{g}_{k-1}(\hat{\mathbf{u}}) \Big\|_2

대응 u^\hat{\mathbf{u}}는 투영 데이터 연관(라이브 정점을 예측 맵에 투영 — 최근접 이웃 탐색 없음)으로부터 얻어지며, 거리 및 법선 호환성 임계값 εd,εθ\varepsilon_d, \varepsilon_\theta로 걸러집니다. 프레임 간 움직임이 작다고 가정하면, 증분 변환은 매개변수 x=(β,γ,α,tx,ty,tz)⊤∈R6\mathbf{x} = (\beta, \gamma, \alpha, t_x, t_y, t_z)^\top \in \mathbb{R}^6로 선형화되어 6×66{\times}6 대칭 정규방정식 ∑A⊤A x=∑A⊤b\sum \mathbf{A}^\top \mathbf{A}\,\mathbf{x} = \sum \mathbf{A}^\top b를 얻으며, 이는 GPU에서 병렬 트리 리덕션으로 구성되고 CPU에서 Cholesky 분해로 풀립니다. 반복은 거칠기-에서-세밀도 방식으로, 피라미드 레벨 [3,2,1][3, 2, 1]에서 각각 최대 [4,5,10][4, 5, 10]회 실행됩니다. x\mathbf{x}에 대한 널스페이스 및 크기 검사는 퇴화된 형상이나 선형화 실패를 감지하여 재지역화 모드를 유발합니다.

TSDF 통합을 통한 매핑. 고정된 복셀 그리드가 복셀별로 절단된 부호 거리 F(p)F(\mathbf{p})와 가중치 W(p)W(\mathbf{p})를 저장합니다. 각 프레임의 투영 부호 거리는 대역 μ\mu로 절단되어

fk(p)=Ψ(dk(π(KTg,k−1p))−λ−1∥p−tg,k∥μ),Ψ(η)=min⁡(1,max⁡(−1,η))f_k(\mathbf{p}) = \Psi\left(\frac{d_k(\pi(\mathbf{K}\mathbf{T}_{g,k}^{-1}\mathbf{p})) - \lambda^{-1}\|\mathbf{p} - \mathbf{t}_{g,k}\|}{\mu}\right), \qquad \Psi(\eta) = \min\big(1, \max(-1, \eta)\big)

가중 이동 평균으로 융합됩니다.

Fk(p)=Wk−1(p) Fk−1(p)+wk(p) fk(p)Wk−1(p)+wk(p)F_{k}(\mathbf{p}) = \frac{W_{k-1}(\mathbf{p})\,F_{k-1}(\mathbf{p}) + w_k(\mathbf{p})\,f_k(\mathbf{p})}{W_{k-1}(\mathbf{p}) + w_k(\mathbf{p})}

이렇게 하면 센서 잡음이 평균화되어 사라집니다. WW를 최댓값으로 절단하면 대신 작은 장면 변화를 흡수하는 이동 평균이 됩니다.

레이캐스팅을 통한 표면 예측. 광선이 TSDF를 따라 영교차점까지 진행하며(값이 양의 절단값을 유지하는 동안 μ\mu보다 작은 단계로 건너뛰면서), 교차점은 삼중선형 보간된 값들의 선형 보간으로 정밀화됩니다 — 이렇게 만들어진 예측 정점/법선 맵은 화면 표시와 다음 ICP 기준 양쪽에 모두 사용됩니다. 융합된 볼륨에 대한 프레임-대-모델 추적을(프레임-대-프레임이 아니라) 사용하는 것이 이 논문의 핵심 설계 선택입니다.

실험 결과

모든 평가는 라이브 Kinect 데이터(640x480 깊이, 30,Hz)로 수행되었습니다. 턴테이블 실험(약 19초 동안 560프레임, 3,m3^3 볼륨 내 2563256^3 복셀)에서, 프레임-대-프레임 ICP는 눈에 보이는 드리프트와 원형이 아닌 궤적을 누적하는 반면, 프레임-대-모델 추적은 첫 프레임과 마지막 프레임이 거의 겹칠 정도로 루프를 닫으며, 명시적인 전역 최적화 없이도 이를 달성합니다. 동일한 루프를 M=4회 반복 입력하면 정렬이 더 조여지고 아티팩트가 줄어듭니다. 키프레임 방식 추적(8프레임마다)은 드리프트를 줄이지만 드리프트가 전혀 없는 것은 프레임-대-모델뿐입니다. 시스템은 메모리를 1/64로 줄여도(64364^3 복셀, 6프레임마다) 성능이 완만하게 저하됩니다. 타이밍은 64364^3부터 5123512^3까지 복셀 해상도에 관계없이 일정하며, TSDF 통합은 초당 650억 복셀 이상을 처리합니다(전체 5123512^3 볼륨 업데이트당 약 2,ms). 복셀 구성 요소당 16비트로 충분합니다(SDF 값 자체는 6비트로도 충분). 보고된 실패 모드는: 시야를 가득 채우는 큰 평면이 ICP 널스페이스에서 6자유도 중 3자유도를 제약하지 못하는 상황입니다. 이 논문은 ISMAR 2011에서 최우수 논문상을 수상했습니다.

SLAM에서의 의미

KinectFusion은 이후 거의 모든 RGB-D 밀도 SLAM 시스템이 기반으로 삼는 표준 파이프라인 — 깊이 전처리, 투영 데이터 연관 ICP, TSDF 융합, 레이캐스트 예측 — 을 확립했습니다. 저가의 소비자용 깊이 센서와 GPU 병렬성을 결합하면 예전에는 오프라인 처리가 필요했던 밀도 재건을 실현할 수 있음을 보여주었고, 이는 이 레벨에서 다루는 융합 시스템들(Kintinuous, ElasticFusion, BundleFusion, InfiniTAM)의 물결 전체를 촉발했습니다. 논문이 명시한 한계들 — 고정된 볼륨, 정적 장면 가정 — 은 이후 계승 연구들이 추구한 연구 의제를 정의했습니다.

관련 문서