FutureMapping 1

Davison 2018 · 论文

一句话总结 — 一篇富有远见的立场文章，论证SLAM将演化为通用的”空间人工智能（Spatial AI）“，并指出要弥合与实际产品之间的差距，需要将算法与图处理器和新型传感器协同设计——使SLAM计算的稀疏图结构与其运行的硬件相匹配。

问题

增强现实眼镜或消费级机器人等设备所需的视觉感知性能，与在真实产品所施加的约束条件（功耗、体积、成本、延迟）下所能实现的性能之间，仍存在巨大差距（像SemanticFusion这样的原型系统需要巨大的计算量，却只能提供所需能力的一小部分）。Davison认为，根本瓶颈在于空间人工智能的计算结构——分布式、稀疏、图结构化的估计，并与学习到的组件相耦合——同集中式、受内存瓶颈限制的CPU/GPU架构之间的不匹配，在这类架构中数据移动主导了成本。弥合这一差距需要算法、处理器与传感器的联合设计。

方法与架构

这是一篇分析/立场性论文，因此其”方法”是一种架构论证，而非带有公式的算法。

从SLAM到空间人工智能。 目标不是抽象的场景理解，而是一种具身的、实时的、闭环的能力：(1) 在估计相机状态的同时，逐步构建并细化一个持久的世界模型（几何、外观和语义信息，每个空间区域的存储量有界）；(2) 以低延迟将每张新图像与该模型进行比较（数据关联）；(3) 通过跟踪和地图更新来更新模型。一个完全生成式的稠密模型是可贵的，因为每个像素都可以与预测进行比对——“要识别异常之物，就要保持一个关于正常情况的完整预测模型。”
SLAM中的图结构。 论文识别出若干自然的图结构：像素构成的规则图像图（image graph），重建场景构成的不规则多尺度地图图（map graph），二者之间动态变化的图像/模型对应关系，以及实时循环的计算图（computation graph）（该文通过扩展KinectFusion的SLAMBench分析具体地绘制出来），其元素包括CNN标注、渲染（模型到图像的预测）、跟踪、融合、地图整合、重定位/回环检测、地图一致性优化，以及自监督学习。
提出的设备架构（“空间AI大脑”）。 一个主处理器，结合了地图存储（map store）——世界模型分布在众多核心上，其互连结构映射地图图的拓扑结构，并就地不断自我细化（聚类、分割、回环检测/优化、正则化）——以及一个面向图像的、大规模并行计算的实时循环区域；再加上运行各传感器预测模型的相机接口。回环检测和光束法平差被特别指出是”非常适合以消息传递方式在图处理器上实现”的图算法。
硬件格局。 CPU/GPU需要在独立的计算单元与存储单元之间进行代价高昂的数据传输；嵌入式视觉芯片（Movidius Myriad、HoloLens HPU）则是特定用途的（ad hoc）。有意思的赌注在于存储与计算分布式的图/神经形态设计：Graphcore的IPU（数千个互连核心，每个核心带有本地存储，程序由Poplar编译成图拓扑结构）以及SpiNNaker（多达一百万个ARM核心）。
贴近传感器的处理与广义化的事件相机。 处理也应该向传感器内部或附近迁移——例如SCAMP5视觉芯片（256×256像素，1.2瓦，采用逐像素模拟计算来实现类似TV-L1光流的局部运算）——并且事件相机的概念应该被推广：将模型预测发送给相机后，理想的传感器只在数据与预测不同的地方才进行传输。
主动视觉的回归。 自MonoSLAM时代的主动搜索以来，自底向上的”暴力”处理在每一轮都获胜，但图处理器让自顶向下、由预测驱动的计算分配（沿袭SLAM++物体级地图的思路）重新变得有吸引力。

实验结果

作为一篇立场性论文，本文没有报告实验；其产出是一组预测和一项研究计划（完整论证请参见原论文，其中包括一套提议的多目标空间AI指标——局部位姿精度/漂移、位姿可重复性、跟踪与重定位鲁棒性、延迟、逐像素稠密距离预测精度、物体分割/分类精度、AR像素配准、场景变化检测、功耗，以及以比特×毫米衡量的数据移动量——旨在取代纯粹的轨迹基准)。它所催生的具体后续工作验证了这一研究计划：FutureMapping 2（GBP框架）、Bundle Adjustment on a Graph Processor（首个IPU演示）、以及分布式多机器人GBP（DANCeRS）。该文还创造了”空间AI”这一提法，如今已成为一整个子领域的标签。

对SLAM的意义

这篇论文重塑了SLAM社区中相当一部分研究的议程：它创造了”空间AI”这一提法，并开启了图处理器研究计划（FutureMapping 2、IPU上的光束法平差、分布式多机器人GBP）。即便其具体的硬件赌注尚未在商业上完全实现，它的核心论点——感知算法与计算基底必须围绕稀疏图结构进行协同设计——依然影响着人们如何思考AR眼镜和嵌入式机器人上的SLAM。

FutureMapping 1

问题

方法与架构

实验结果

对SLAM的意义

相关条目