SuMa++

Chen (Bonn) 2019 · 논문

한 줄 요약 — SuMa++는 RangeNet++로부터 포인트별 시맨틱을 도입하여 SuMa를 확장하며, 시맨틱 일관성 검사를 통해 움직이는 객체를 서펠 맵에서 필터링하고 시맨틱 일치도로 ICP 잔차에 가중치를 부여함으로써—주차된 자동차를 무작정 삭제하지 않으면서—동적인 교통 상황에서의 강인성을 크게 개선한다.

문제

SuMa는—대부분의 LiDAR SLAM 시스템처럼—세계가 정적이라고 가정한다: 모든 스캔 포인트가 ICP 정합에 동등하게 기여한다. 특히 뚜렷한 정적 구조가 적은 고속도로 같은 주행 장면에서는, (교통 정체 속 자동차처럼) 일관되게 움직이는 이상치에 대한 잘못된 대응이 프레임-투-모델 ICP를 교통 흐름에 고정시켜 포즈와 맵을 모두 오염시킨다. 단순한 해결책—움직일 수 있는 클래스의 모든 포인트를 삭제하는 것—은 오히려 역효과를 낳는다: 주차된 자동차는 종종 가장 뚜렷한 정적 특징이며, 이를 제거하면 서펠 맵이 더 희소해지고 정합이 더 나빠진다. 이 시스템은 실제로 움직이는 객체와 움직일 수는 있지만 정적인 객체를 구별해야 한다.

방법 및 아키텍처

SuMa 파이프라인은 세 지점에서 확장된다: 시맨틱 분할 프론트엔드, 맵 업데이트에서의 동역학 필터, ICP에서의 시맨틱 가중치.

• 레인지 이미지에 대한 시맨틱 분할: SemanticKITTI로 학습된 DarkNet53 백본을 가진 SqueezeSeg 아키텍처 기반 FCN인 RangeNet++가 구면 투영의 모든 포인트에 레이블을 예측하여 원시 시맨틱 마스크 $\mathcal{S}_{\text{raw}}$를 만든다. 각 서펠은 추가로 추론된 레이블 $y$와 그 확률을 저장한다.

• 플러드 필 레이블 정제: 블롭 형태의 CNN 출력을 역투영하면 레이블 아티팩트가 생기는데, 이는 두 단계로 줄어든다: *침식(erosion)*이 이웃(커널 크기 $d$)에 상충하는 레이블이 있는 픽셀을 제거하고, 그다음 깊이 기반 채움이 버텍스 맵 거리가 일관된(임계값 $\theta$ 이내) 이웃으로부터 침식된 경계 픽셀을 재할당하여, 정제된 마스크 $\mathcal{S}_D$를 만든다.

• 시맨틱 일관성으로 동역학 필터링: 맵 업데이트 중에, 새로운 관측 $\mathcal{S}_D$의 레이블이 렌더링된 시맨틱 세계 모델 $\mathcal{S}_M$과 대조된다. 일치하지 않는 서펠—움직이는 것으로 추정—은 재귀적 안정성 업데이트에서 페널티를 받는다:

  $$l_s^{(t)} = l_s^{(t-1)} + \mathrm{odds}\left(p_{\text{stable}}\, e^{-\alpha^2/\sigma_\alpha^2}\, e^{-d^2/\sigma_d^2}\right) - \mathrm{odds}(p_{\text{prior}}) - \mathrm{odds}(p_{\text{penalty}}),$$

  그리하여 여러 번의 관측 후 움직이는 객체는 안정성 임계값 아래로 떨어져 제거되며, 정적으로 움직일 수 있는 것들(주차된 자동차)은 유용한 정합 특징으로 남는다.

• 시맨틱 ICP: 프레임-투-모델 포인트-투-평면 목적함수는 $E = \sum_{u \in \mathcal{V}_D} w_u\, r_u^2$가 되며, $r_u = \mathbf{n}_u^{\top}\left(\mathbf{T}^{(k)}_{C_{t-1}C_t} \mathbf{u} - \mathbf{v}_u\right)$이고, 다음 가중치를 사용한 가우스-뉴턴으로 풀린다

  $$w_u^{(k)} = \rho_{\text{Huber}}\left(r_u^{(k)}\right) C_{\text{semantic}}\left(\mathcal{S}_D(u), \mathcal{S}_M(u)\right) \mathrm{I}\{l_s^{(k)} \geq l_{\text{stable}}\},$$

  여기서 스캔과 맵 레이블이 일치하면 $C_{\text{semantic}} = P(y_u|u)$이고 그렇지 않으면 $1 - P(y_u|u)$이다—네트워크 자신의 신뢰도가 시맨틱적으로 불일치하는 대응의 가중치를 부드럽게 낮춘다.

• 초기화 시 주의점: 첫 스캔에서의 동역학은 일관성으로 감지될 수 없으므로(아직 맵이 없다), 초기화 기간 동안에만 움직일 수 있는 모든 클래스가 제거된다.

실험 결과

• KITTI road/raw 시퀀스 30–41(전원 + 고속도로; 오도메트리 벤치마크에는 없으므로 분할 훈련과 중복되지 않음), 상대 회전(100m당 deg) / 병진(%) 오차: SuMa 1.35/6.13 → SuMa++ 1.04/1.46(평균). 고속도로 시퀀스 35: 5.11/26.8 → 2.90/1.11; 시퀀스 40: 1.09/18.0 → 0.75/1.95; 시퀀스 41: 1.24/15.6 → 1.14/1.67.
• KITTI 오도메트리 훈련 세트: SuMa 0.36/0.83 → SuMa++ 0.29/0.70(평균)(IMLS-SLAM −/0.55, LOAM −/0.84). “움직일 수 있는 것 없음” SuMa 순수 기준선은 도심 시퀀스에서 발산한다(평균 23.3/9.24; 예를 들어 시퀀스 00: 22.0/58.0)—주차된 자동차를 제거하면 좋은 특징이 파괴된다.
• KITTI 테스트 세트(서버 측): 회전 0.0032 deg/m, 병진 1.06%(원래 SuMa의 1.39%와 비교).
• Xeon W-2123 + Quadro P4000에서의 런타임: RangeNet++는 스캔당 평균 75ms, 서펠 매핑은 48ms, 루프 클로저 통합 시 최대 190ms.

SLAM에서의 의미

SuMa++는 순수한 기하학이 어려움을 겪는 동적 환경 문제—교통이 밀집하거나 서서히 움직이는 경우—를 다루기 위해 딥 분할 네트워크를 사용한 최초의 LiDAR SLAM 시스템 중 하나였다. 이 연구의 핵심적인 경험적 교훈—움직일 수 있는 클래스 전체를 삭제하는 대신 맵-스캔 시맨틱 일관성을 통해 실제로 움직이는 것만 필터링하라—는 도심 자율주행 SLAM의 표준 관행이 되었고, 시각 SLAM에서 DynaSLAM이 했던 역할을 반영한다. 또한 이는 레인지 이미지를 학습 기반 LiDAR 처리의 표준 중간 표현으로 굳혔으며, 다운스트림 내비게이션이 사용할 수 있는 시맨틱 레이블이 붙은 서펠 맵을 만들어냈다.

실습

• SuMa++ 실행하기

관련 문서

• SuMa
• Range image
• DynaSLAM
• SemanticFusion
• FAST-LIO2