직접 LiDAR-카메라 정렬 (Direct LiDAR-camera alignment)

직접(direct) 방법은 먼저 희소 특징을 추출하지 않고 센서 데이터를 맵에 대해 정렬한다. LiDAR-카메라 융합에 적용하면, 이는 동일한 맵에서 두 가지 일이 일어나는 것을 의미한다:

직접 LiDAR 정합: 원시 스캔 포인트가 포인트-투-평면(또는 포인트-투-암묵적) 잔차로 맵에 대해 정합된다—LOAM에서와 같은 모서리/평면 특징 추출이 없다. FAST-LIO2는 이것이 더 빠르고 더 정확함을 보여주었으며, 어떤 스캐닝 패턴(회전형 또는 솔리드 스테이트 LiDAR)에도 자동으로 적응한다.
직접 시각 정렬: 코너(ORB, FAST)를 검출하고 매칭하는 대신, 카메라 포즈는 현재 이미지와 맵에 저장된 외관 사이의 광도 오차를 최소화하여 추정된다.

핵심 잔차

FAST-LIVO에서 각 LiDAR 맵 포인트 $\mathbf{p}_i$ 는 처음 관측되었을 때의 작은 이미지 패치 $P_i$ 를 지니며, 새로운 프레임은 다음을 최소화하여 정렬된다.

r_i = \sum_{\mathbf{u} \in \Omega} \Big( I_{\text{cur}}\big(\pi(\mathbf{T}\,\mathbf{p}_i) + \mathbf{u}\big) - P_i(\mathbf{u}) \Big)^2

패치 이웃 $\Omega$ (예: 각 방향으로 몇 픽셀)에 대해서이다. LiDAR가 이 앵커 포인트들에 대해 정확한 3D 위치를 제공하기 때문에, 시각 모듈은 잘 위치가 정해진 랜드마크의 밀집된 풀을 공짜로 얻는다—삼각측량도, 깊이 모호성도 없다. R3LIVE는 가장 단순한 형태로 같은 원리를 사용한다: 맵 포인트가 색상 $C_i$ 를 저장하고, VIO는 $\sum_i (I(\pi(\mathbf{T}^{-1}\mathbf{P}_i)) - C_i)^2$ 를 최소화하여 프레임을 정렬한 다음 맵의 텍스처를 정제한다.

추정기에 진입하는 방식

이 잔차들을 긴밀 결합 필터에 공급하는 두 가지 패턴이 존재한다:

쌓기 업데이트(FAST-LIVO): LiDAR 포인트-투-평면 야코비안과 시각 광도계 야코비안을 이어붙여 $\mathbf{H} = [\mathbf{H}^{\text{LiDAR}}; \mathbf{H}^{\text{Visual}}]$ 를 만들고, 하나의 반복 칼만 업데이트에서 적용한다.
순차적 업데이트(FAST-LIVO2): 동일한 ESIKF 반복 내에서 LiDAR 업데이트가 먼저 적용되고, 시각 업데이트가 중간 상태에서 실행된다— $\hat{\mathbf{x}}_1 = \hat{\mathbf{x}}_0 \oplus \mathbf{K}_L \mathbf{r}_L(\hat{\mathbf{x}}_0)$ , 그다음 $\hat{\mathbf{x}}_2 = \hat{\mathbf{x}}_1 \oplus \mathbf{K}_V \mathbf{r}_V(\hat{\mathbf{x}}_1)$ —이는 수천 개의 LiDAR 잔차와 이미지 측정값 사이의 차원 불일치를 피해간다.

정렬을 정직하게 유지하려면 외관 측면의 관리도 필요하다: 새로운 뷰가 도착함에 따라 참조 패치가 업데이트되고(FAST-LIVO2는 이를 동적으로 수행하며, R3LIVE는 시간에 따라 색상을 블렌딩한다), 깊이 경계에 놓여 있거나 현재 뷰에서 가려진 불안정한 포인트는 제외되며(FAST-LIVO의 이상치 메커니즘), LiDAR 평면 사전 정보가 패치 정렬 자체를 제약할 수 있다(FAST-LIVO2).

왜 직접 방식으로 가는가?

매력은 세 가지이다. 첫째, 지연시간: 특징 추출과 디스크립터 매칭을 생략하면 프레임당 상당한 비용이 사라진다. 둘째, 저질감 장면에서의 강인성: 광도계 정렬은 코너 검출기가 아무것도 찾지 못하는 약한 그래디언트를 활용할 수 있다. 셋째, 아키텍처의 단순성: 서로 일관되게 유지해야 하는 별도의 시각 맵과 LiDAR 맵 대신, 하나의 공유 맵(ikd-Tree 또는 복셀 맵)이 두 모달리티 모두에 사용된다.

흔한 함정

작은 수렴 영역. 광도 오차는 매우 비선형(non-convex)이다; 정렬은 참 포즈 근처에서만 성공한다. 직접 LVI 시스템은 IMU 전파와 LiDAR 정합이 시각 모듈에 훌륭한 초기 추정값을 넘겨주기 때문에 이를 감당할 수 있다—이 사전 정보를 제거하면 방법이 무너진다.
밝기 불변성은 거짓이다. 자동 노출, 비네팅, 카메라의 비선형 응답 특성은 같은 표면이라도 프레임 간에 강도를 바꾼다. 이것이 FAST-LIVO2가 노출 시간을 온라인으로 추정하는 이유이며, R3LIVE++가 원시 RGB보다는 복사(radiance)를 재구성하기 위해 응답 함수와 비네팅을 캘리브레이션하는 이유이다.
경계 및 가려짐 포인트. 깊이 불연속 지점에 고정된 패치는 전경과 배경 외관을 혼합한다; 이러한 포인트는 필터링되어야 하며, 그렇지 않으면 정렬에 체계적으로 편향을 일으킨다.
오래된 외관. 오래전 다른 조명 조건에서 캡처된 패치는 참조 패치가 갱신되지 않으면 잔차를 서서히 오염시킨다—하지만 너무 적극적으로 갱신하면 드리프트가 맵의 외관으로 흘러들어간다.

SLAM에서의 의미

직접 LiDAR-카메라 정렬은 현재 가장 강력한 오픈소스 LVI 오도메트리 시스템(FAST-LIVO, FAST-LIVO2)과 RGB 매핑 라인인 R3LIVE 뒤에 있는 설계이다. 이는 직접 시각 오도메트리 전통(DTAM, LSD-SLAM, DSO)의 LiDAR 시대적 계승을 나타낸다: 더 이상 깊이가 병목이 아닐 때—LiDAR가 이를 측정하므로—광도계 정렬은 상태 추정기에 시각 정보를 추가하는 매우 저비용이고 효과적인 방법이 된다.