PointFusion / DenseFusion

Xu 2018 · 논문 / Wang 2019 · 논문

한 줄 요약 — 이미지 특징과 포인트 클라우드 특징을 점 단위로 융합하는 두 개의 영향력 있는 RGB-D 객체 포즈 네트워크로, 객체 수준 SLAM 시스템들이 그 위에 구축하는 학습 기반 객체 프론트엔드를 형성함.

문제

RGB-D 데이터로부터 3D 객체 포즈를 추정하려면 매우 다른 두 모달리티 — 밀도가 높고 외관 정보가 풍부한 이미지, 그리고 희소하지만 메트릭 정확도가 높은 3D 점 — 를 결합해야 합니다. 기존 방법들은 다단계 파이프라인을 사용하거나 센서·데이터셋 특화적 가정을 내재화했습니다(예: 깊이를 추가 이미지 채널로 축소하거나, 보행자나 실내 혼잡 환경에서는 실패하는 하향식 LiDAR 뷰 사용). 사후 ICP 정제 역시 정확한 방법들을 실시간 사용에 너무 느리게 만들었습니다. 필요했던 것은 각 모달리티를 그에 적합한 네트워크로 처리하고 결과를 융합하는 — 그것도 점 단위로 융합하여 부분적으로 가려진 객체도 보이는 조각들로부터 포즈를 추정할 수 있는 — 개념적으로 단순한 아키텍처였습니다.

방법 및 아키텍처

**PointFusion(Xu 2018)**은 2단계 3D 검출기입니다: 범용 2D 검출기(Faster R-CNN)가 크롭을 제공하고, 각 크롭에 대해 ResNet-50이 이미지 특징을 추출하는 동시에 PointNet 변형(배치 정규화 제거 — 회귀에는 절대 점 좌표가 중요함. 크롭의 시선 방향을 카메라 zz축에 맞추는 회전 RcR_c로 입력을 정규화)이 최대 400개의 원시 3D 점을 처리합니다. 전역 융합 베이스라인은 두 특징을 연결하여 8개 박스 꼭짓점을 직접 회귀하며, 손실은 L=∑ismoothL1(xi∗,xi)+LstnL = \sum_i \mathrm{smoothL1}(\mathbf{x}_i^{*}, \mathbf{x}_i) + L_{\mathrm{stn}}입니다. 새로 제안된 밀도(dense) 아키텍처는 대신 모든 입력 점을 공간적 앵커로 사용합니다: 각 점의 특징(전역 점 특징 및 이미지 특징과 연결되어 n×3136n \times 3136 텐서를 이룸)이 자신으로부터 8개 꼭짓점까지의 오프셋과 신뢰도 cic_i를 예측하며, 비지도 스코어링 손실로 학습됩니다.

L=1N∑i(Loffseti⋅ci−wlog⁡ci)+Lstn,w=0.1L = \frac{1}{N} \sum_i \big( L^{i}_{\mathrm{offset}} \cdot c_i - w \log c_i \big) + L_{\mathrm{stn}}, \qquad w = 0.1

이를 통해 네트워크는 어떤 점들이 좋은 가설을 내는지 학습합니다. 테스트 시에는 가장 높은 점수를 받은 점의 박스가 선택됩니다. 상대 오프셋을 예측하는 것은 (주행 환경에서 1,m부터 100+,m까지 이르는) 장면 스케일의 편차를 회귀 목표에서 제거합니다.

**DenseFusion(Wang 2019)**은 이 철학을 이미 알고 있는 객체의 6-DoF 포즈에 적용합니다: 분할 네트워크가 각 객체를 분리하고, CNN 인코더-디코더가 RGB 크롭을 픽셀별 외관 임베딩으로 매핑하며, PointNet 유사 네트워크(평균 풀링)가 마스킹된 깊이 점들을 점별 기하 임베딩으로 매핑합니다(둘 다 128차원). 융합은 픽셀 단위로 이루어집니다 — 각 점의 기하 특징은 그 투영 픽셀 위치의 이미지 특징과 연결되고, 전역 풀링된 특징으로 보강됩니다 — 그리고 각 융합된 특징은 신뢰도 cic_i와 함께 완전한 포즈 p^i=[R^i∣t^i]\hat{p}_i = [\hat{R}_i \mid \hat{t}_i]를 예측합니다. 픽셀별 포즈 손실은 모델 점 거리입니다.

Lip=1M∑j∥(Rxj+t)−(R^ixj+t^i)∥L^{p}_{i} = \frac{1}{M} \sum_j \| (R x_j + t) - (\hat{R}_i x_j + \hat{t}_i) \|

(대칭 객체의 경우 가장 가까운 변환된 모델 점까지의 거리), 위와 정확히 동일한 방식으로 결합됩니다: L=1N∑i(Lipci−wlog⁡ci)L = \frac{1}{N}\sum_i (L^{p}_{i} c_i - w \log c_i)이며 w=0.01w = 0.01입니다. 사후 ICP를 대체하는 미분 가능한 반복 정제 모듈은 포인트 클라우드를 현재 추정된 정규 프레임으로 변환하고(그래서 입력이 현재 추정치를 인코딩함) 잔차 포즈를 예측하며, K=2K = 2회 반복 후 최종 포즈는 합성 p^=[RK∣tK]⋯[R0∣t0]\hat{p} = [R_K \mid t_K] \cdots [R_0 \mid t_0]가 됩니다 — 메인 네트워크가 수렴한 뒤에는 종단간(end-to-end) 학습이 가능합니다.

실험 결과

PointFusion은 동일한 아키텍처와 하이퍼파라미터로 KITTI와 SUN-RGBD 양쪽에서 기존 최고 성능과 동등하거나 그를 상회한 최초의 모델이었습니다. KITTI 자동차(AP3DAP_{3D}, easy/moderate/hard)에서 전체 클래스 모델은 77.92/63.00/53.27을 기록하며 MV3D의 71.29/62.68/56.56을 앞서고, 보행자(33.36/28.04/23.38)와 자전거(49.34/29.42/26.98)에서는 MV3D를 큰 차이로 앞섭니다. 밀도 앵커 설계는 전역 베이스라인을 대략 두 배로 향상시킵니다(자동차 easy AP 43.29 → 74.71). SUN-RGBD(IoU 0.25)에서는 프레임당 1.3초로 45.38 mAP를 달성하며, 이는 프레임당 19.6초가 걸리는 DSS의 42.1, 프레임당 10~30분이 걸리는 COG의 47.63과 비교됩니다. DenseFusion은 YCB-Video(ADD-S)에서 반복 정제와 함께 93.1 AUC / 96.8%(< 2,cm)를 달성하여 PoseCNN+ICP(93.0 / 93.2)를 능가하면서도 약 200배 더 빠르며(프레임당 0.06초 대 10.6초, 16 FPS), PointFusion의 전역 융합(83.9 / 74.1)을 크게 앞섭니다. 가림이 심해질수록 정확도는 겨우 약 2%만 떨어지는 반면 PoseCNN+ICP와 PointFusion은 급격히 저하됩니다. LineMOD에서는 평균 ADD 94.3(정제 없이는 86.2)을 달성합니다. 실제 로봇에 배치했을 때, 그 포즈들은 60회 시도 중 73%의 파지 성공률을 냅니다.

SLAM에서의 의미

객체 수준 SLAM은 원시 RGB-D를 신뢰할 수 있는 6-DoF 객체 관측으로 변환하는 방법이 필요하며, PointFusion/DenseFusion 계열은 그 역할을 위한 표준 학습 아키텍처를 확립했습니다: 이질적인 CNN + PointNet 특징 추출, 점 단위 융합, 신뢰도 가중 포즈 회귀 — 이는 고전 파이프라인에서 RANSAC이 하는 역할을 반영하는 암묵적 강건 추정기입니다. MoreFusion과 같은 시스템들은 정확히 이러한 형태의 학습 기반 포즈 예측을, 다중 뷰·충돌 인식 정제를 위한 초기값으로 사용하며, 현대의 어떤 객체 수준 SLAM 파이프라인이라도 그 프론트엔드에 이 네트워크 계열의 후손을 포함하고 있을 가능성이 높습니다.

관련 문서