성능 저하 처리 (Degradation handling)

멀티센서 SLAM 시스템은 자신의 센서 중 하나가 거짓말을 하고 있다는 것을 알아차리는 능력만큼만 강인하다. **성능 저하 처리(degradation handling)**는 어떤 모달리티가 신뢰할 수 없게 되었음을 감지하고 나머지 센서로 우아하게 폴백한 다음, 저하된 센서가 다시 유용해질 때 복구하는 메커니즘이다.

일반적인 성능 저하 시나리오

LiDAR는 비, 안개, 눈(빔 산란)에서, 또는 기하학적으로 퇴화된 장면에서 저하된다: 길고 특징이 없는 복도는 복도 축 방향의 모션을 제대로 제약하지 못하며, 개방된 들판은 고정할 평면이나 모서리가 거의 없다.
카메라는 어둠, 터널 출구의 과노출, 무질감 벽면, 또는 공격적인 모션 하의 모션 블러에서 저하된다.
IMU는 항상 사용 가능하지만, 외부 감각 센서가 수정하지 않으면 수 초 내에 드리프트한다.

두 가지 LiDAR 실패 부류 사이의 구분에 주목하라: 날씨로 인한 성능 저하는 (이상치로 감지 가능한) 노이즈가 있거나 누락된 측정값을 만들어내는 반면, 기하학적 퇴화는 특정 모션 방향을 단순히 제약하지 못하는 깨끗하고 자기 일관적인 측정값을 만들어낸다. 두 번째 부류가 훨씬 더 위험한데, 개별 잔차만 보면 아무것도 잘못된 것처럼 보이지 않기 때문이다.

성능 저하 감지

잔차 모니터링. 서브시스템의 정합 또는 재투영 잔차가 급증하거나 사용 가능한 측정값의 수가 붕괴하면, 해당 서브시스템은 스스로를 저하된 것으로 플래그한다. LVI-SAM은 이 패턴을 사용한다: 각 서브시스템이 자신의 상태를 모니터링하며, 한 시스템의 실패가 다른 시스템을 무너뜨리지 않는다.

추정 문제의 퇴화 분석. 정합은 선형화된 정규방정식을 반복하여 풀리며, 이때의 정보 행렬은 다음과 같다.

\mathbf{H} \;=\; \mathbf{J}^\top \mathbf{J} \;=\; \sum_i \mathbf{J}_i^\top \mathbf{J}_i ,

여기서 각 $\mathbf{J}_i$ 는 하나의 (예: 포인트-투-평면) 잔차의 포즈에 대한 야코비안이다. $\mathbf{H} = \sum_k \lambda_k \mathbf{v}_k \mathbf{v}_k^\top$ 로 고유값 분해하면 상태 공간의 각 방향이 얼마나 잘 제약되는지 드러난다: 0에 가까운 고유값 $\lambda_k$ 는 측정값이 $\mathbf{v}_k$ 방향의 모션에 대해 거의 아무것도 말해주지 않음을 의미한다.

풀어본 예시 — 복도: 시야에 평행한 벽 두 개만 있는 경우, 모든 포인트-투-평면 잔차의 법선 $\mathbf{n}_i$ 는 복도 축에 수직이다. 축을 따른 병진은 모든 잔차를 변하지 않게 하므로, $\mathbf{J}$ 의 해당 행공간은 그 방향으로 성분이 없으며 $\mathbf{H}$ 의 연관된 고유값은 붕괴한다. 최적화기는 여전히 “수렴”하겠지만—복도를 따른 임의의 위치로 수렴한다. 퇴화를 인식하는 추정기는 $\lambda_{\min}$ 을 임계값과 비교한 다음, 퇴화된 방향으로만 업데이트를 고정하거나 가중치를 낮추어(솔루션 리매핑) 잘 제약된 성분들을 유지한다.

폴백과 복구

폴백 전략은 스펙트럼을 이룬다:

재가중치화: 건강한 센서들이 하드 스위치 없이 융합 추정값을 지배하도록, 저하된 모달리티의 측정 공분산을 확대(또는 팩터 가중치를 축소)한다.
방향 게이팅: 위와 같이 잘 조건화된 부분공간에만 업데이트를 적용한다—기하학적 퇴화를 위한 정밀한 방법이다.
서브시스템 격리: 저하된 측정값을 완전히 버리고 나머지 센서로 운영한다; IMU는 지속되는 동안 높은 속도로 간극을 이어준다.
시스템 간 재초기화: LVI-SAM은 퇴화된 기하 이후 시각-관성 포즈 추정값으로부터 LiDAR-관성 서브시스템을 재시작하며, 시작 시 LiDAR-관성 추정값으로부터 시각-관성 초기화를 부트스트랩한다—복구가 양방향으로 흐른다.

복구는 감지만큼이나 많은 주의가 필요하다: 센서가 돌아오면, 해당 서브시스템은 현재 융합된 상태(포즈 및 불확실성)와 일관되게 재초기화되어야 한다. 그렇지 않으면 재도입된 측정값이 정제해야 할 추정값과 충돌하게 된다.

흔한 함정

잔차만 신뢰하기. 퇴화된 장면에서는 포즈가 널 공간을 따라 자유롭게 미끄러지는 동안에도 잔차가 아주 작을 수 있다—“자신감 있는 쓰레기”이다. $\mathbf{H}$ 의 퇴화 분석은 잔차 모니터링이 잡지 못하는 것을 잡아낸다.
정적 임계값. 사무실에서 튜닝된 고유값 임계값은 창고에서는 실패한다; 스케일을 인식하거나 정규화된 조건 측도가 원시 크기보다 더 잘 전이된다.
이진 전환. 모달리티 간 하드 온/오프 전환은 추정값의 급변을 일으킨다; 공분산 기반 재가중치화는 부드럽게 저하되고 복구된다.
양호한 데이터만 테스트하기. 성능 저하 처리는 표준 벤치마크가 거의 실행하지 않는 정확한 코드 경로이다; 터널, 야간 운행, 비는 융합 시스템이 제 값을 하는 순간이다.

SLAM에서의 의미

융합 시스템은 “센서들이 서로의 약점을 보완한다”는 약속으로 판매되지만, 그 약속은 성능 저하가 명시적으로 감지되고 처리될 때만 실현된다—퇴화된 LiDAR 스캔에서 자신감 있는 쓰레기를 공급받은 긴밀 결합 추정기는 전체 상태를 기꺼이 오염시킬 것이다. 성능 저하 처리는 데모급 융합과 터널, 야간 운전, 비를 견뎌내는 시스템을 구분하는 요소이며, LVI-SAM과 FAST-LIVO2 같은 LVI 시스템의 주요 평가 축이다.