Tightly-coupled LiDAR-camera

当点云配准残差和视觉残差在单一状态上被联合优化于同一个代价函数中(或在同一次滤波器更新中)时,LiDAR-camera SLAM系统就是紧耦合的。如果每种模态各自运行自己的里程计,只在之后融合各自得到的位姿估计——例如在位姿图或简单滤波器中——那就是松耦合的。

联合问题

在紧耦合的优化后端中,状态 $\mathbf{X}$ (位姿、速度、IMU偏置,有时还包括地图点)通过最小化多种异质项之和来求解:

\mathbf{X}^* = \arg\min_{\mathbf{X}} \; \sum \|\mathbf{r}^{\text{IMU}}\|^2_{\Sigma_I} + \sum \|\mathbf{r}^{\text{visual}}\|^2_{\Sigma_V} + \sum \|\mathbf{r}^{\text{LiDAR}}\|^2_{\Sigma_L} + \sum \|\mathbf{r}^{\text{loop}}\|^2_{\Sigma_{lp}}

其中LiDAR残差通常是点到面或点到线的距离,视觉残差是重投影误差或光度误差。LVI-SAM在GTSAM上用因子图实现了这一点。基于滤波器的等价方案则把相同的残差放入迭代卡尔曼更新:FAST-LIVO把两种模态的雅可比矩阵堆叠成 $\mathbf{H} = [\mathbf{H}^{\text{LiDAR}}; \mathbf{H}^{\text{Visual}}]$ 进行一次更新,而FAST-LIVO2在一次迭代内顺序应用它们——先LiDAR,再在中间状态上处理视觉——以应对LiDAR扫描和图像在维度上的巨大差异。

相比之下,松耦合设计会独立运行LiDAR里程计和视觉里程计,只融合它们各自输出的6-DoF位姿。而这种压缩恰恰是紧耦合所要避免的。

紧耦合与松耦合一览

	紧耦合	松耦合
融合的对象	原始残差(点、像素)	6-DoF位姿估计(+协方差)
信息保留	完整——保留了与偏置的交叉相关性	有损——每种模态都被预先边缘化
跨模态互助	通过共享状态自动实现	只能通过人工设计的接口实现
对标定误差的敏感度	高——误差进入每一个残差	较低——由各子系统各自吸收
故障隔离	默认较差——异常值会污染联合状态	较好——出问题的里程计可以被忽略
实现难度	高	低

为什么要承受额外的复杂度?

信息不会被丢弃。 松耦合会在融合之前把每种模态压缩成一个6-DoF位姿(加协方差);原始测量与共享状态(特别是IMU偏置)之间的相关性会丢失。
跨模态互助是自动发生的。 LiDAR深度可以直接约束视觉特征(如LVI-SAM中深度增强特征所做的);相机则约束了LiDAR几何退化的方向。
优雅退化。 当某一模态的残差变得没有信息量时,只要另一模态能观测到那些弱方向,联合问题仍然是良态的。

常见陷阱

标定债务。 LiDAR、相机与IMU之间的外参,以及时间偏移,会进入每一个残差;紧耦合系统会把标定误差直接转化为估计偏差,因此标定质量决定了可达到的精度上限。
异常值的杠杆效应。 一种模态中的一个坏测量会牵动整个状态,而不仅仅是它自己的子系统——鲁棒加权和显式的退化检测是必须的,不是可选项。
拿苹果比橙子。 相对噪声协方差 $\Sigma_L$ 与 $\Sigma_V$ 的取值决定了在出现分歧时哪个传感器”胜出”;以米为单位的残差和以强度为单位的残差没有天然的公共尺度,协方差调得不好会悄悄使估计产生偏差。
要迭代,否则会遭受线性化误差。 LiDAR残差和光度残差对位姿都是非线性的;单次更新在快速运动下会退化,这正是强健系统使用迭代滤波器或重新线性化的平滑器的原因。

对SLAM的意义

紧耦合与松耦合的区分,在VIO中已经很常见,是LiDAR-相机融合中最重要的架构分歧点:它在很大程度上决定了系统的精度上限和失效行为。每一个主流的LVI系统(LVI-SAM、R3LIVE、FAST-LIVO2)都把紧耦合作为自己的头条特性来宣传,而阅读它们的代价函数是理解每个系统究竟融合了什么的最快方法。