关键概念
- 深度传感器原理 — 结构光与主动红外(ToF)对比；免费获得度量尺度，但存在测距范围/材质限制
- 帧到模型跟踪 — 将每一帧与累积模型对齐(ICP)，而非帧到帧对齐
- TSDF与面元(Surfel)地图 — 体素化的有符号距离场融合(KinectFusion)与基于点的面元融合(ElasticFusion)对比
RGB-D相机设备
- Intel RealSense D系列
- Orbbec Femto系列(Azure Kinect的继任产品)、Orbbec Astra
- Luxonis OAK-D
- 已停产的旧设备: Microsoft Kinect v1/v2、Azure Kinect DK、Occipital Structure Core
GPGPU编程
系统
| 系统 | 作者/年份 | 关键概念 |
|---|---|---|
| ICP | Besl & McKay 1992 | 迭代最近点(Iterative Closest Point)、最近点对应关系、闭式刚体变换求解、局部收敛(需要初始化)、3D-3D配准的基础方法 |
| DTAM | Newcombe 2011 | → 见第3级 直接法SLAM |
| KinectFusion | Newcombe 2011 | GPGPU、跟踪(深度投影到3D、表面法线、由粗到精ICP)、建图(体素积分、TSDF)、对小幅场景变化鲁棒、无法建模形变、地图增长为立方级、仅限房间尺度场景 |
| 双窗口优化(Double Window Optimisation) | Strasdat 2011 | 内窗口(局部BA)+外窗口(位姿图)、共视图、常数时间优化 |
| Kintinuous | Whelan 2012 | 体积平移(Volume shift)、几何、光度、dBoW+SURF、优化、回环检测 |
| RGBD-SLAM-V2 | Endres 2013 | 跟踪(彩色图像、视觉特征、深度图像、点云、变换)、建图(OctoMap 2013) |
| SLAM++ | Salas-Moreno 2013 | 面向对象的SLAM |
| DVO | Kerl 2013 | 关键帧、深度、直接法、优化、回环检测 |
| RTAB-Map | Labbé 2014 | 回环检测、地图合并、多会话记忆管理 |
| MRS-Map | Stückler 2014 | 基于八叉树的多分辨率面元地图，每个面元的形状+颜色统计，抗噪RGB-D配准，CPU实时运行 |
| ElasticFusion | Whelan 2015 | 活动模型: 帧到模型跟踪(光度+几何)、联合优化、融合式面元模型重建 · 非活动模型: 局部回环检测(模型到模型局部表面、子模型分离)、全局回环检测(随机蕨编码(randomised fern)、非刚性空间变形) |
| DynamicFusion | Newcombe 2015 | 6D运动场、可变形场景 |
| ORB-SLAM2(RGB-D模式) | Mur-Artal 2017 | 光束法平差、稀疏重建(→ 也见于第3级) |
| BundleFusion | Dai 2016 | 局部到全局优化、稀疏RGB特征、粗略全局位姿估计、精细位姿细化(几何+光度) |
| SemanticFusion | McCormac 2016 | 深度学习CNN、深度语义SLAM |
| InfiniTAM v3 | Prisacariu 2017 | 跟踪(场景光线投射、深度图像、RGB图像)、重定位(随机蕨)、建图(TSDF重建、体素哈希、面元重建) |
| Fusion++ | McCormac & Clark 2018 | 深度学习CNN、Mask-RCNN实例分割、物体级SLAM、无需先验、物体级TSDF重建 |
| PointFusion / DenseFusion | Xu 2018 / Wang 2019 | RGB-D物体6自由度位姿估计，点云+图像特征融合(物体级SLAM的物体前端) |
| BAD SLAM | Schöps 2019 | 直接法RGB-D光束法平差、面元地图、实时GPU BA、ETH3D基准测试 |
| RTAB-Map(RGB-D / LiDAR) | Labbé 2019 | 多传感器RGB-D/LiDAR支持、光源检测(2016) |
| MoreFusion | Wada 2020 | 深度学习实例分割、物体级体素融合、体素位姿预测、3D场景重建、基于碰撞的细化、语义SLAM、物体位姿估计、CAD物体拟合 |
| NodeSLAM | Sucar 2020 | 占据VAE、物体级SLAM(→ 也见于第5级 潜表征) |
| DSP-SLAM | Wang (UCL) 2021 | DeepSDF形状先验+ORB-SLAM2，物体级稠密重建(单目/立体/LiDAR) |