CoPeD

Zhou 2024 · 论文

一句话总结 —— CoPeD是一个围绕空地机器人团队构建的、全面的真实世界多机器人协作感知数据集，用于填补长期以来使协作感知研究止步于仿真的评估空白。

问题

在过去十年中，单机器人感知取得了显著进展，但多机器人协作感知在很大程度上仍是未被充分探索的领域——其中一个主要障碍是缺乏真实世界数据集。协作感知需要在传感器噪声、遮挡以及彻底的传感器故障等条件下，融合跨机器人的压缩、间歇、有限、异构且异步的环境信息。现有的多机器人数据集主要是为SLAM设计的（几何建图，机器人间视角重叠有限），而协作感知数据集则是V2V自动驾驶基准，大多为仿真且缺少空中视角。CoPeD正是为填补这一空白而专门构建的。

方法与架构

作为一篇数据集论文，CoPeD的”方法”体现在其采集、标定与标注流程上（它不包含核心公式）：

• 平台（3个地面机器人+2个空中机器人）： Clearpath Warthog搭载Ouster OS1-64三维激光雷达、LORD Microstrain 3DM-GX5-25惯性测量单元（IMU）、u-Blox EVK-M8T GNSS、RealSense D435i/D455立体相机、两台FLIR Blackfly S相机，以及用于硬件时间同步的Masterclock GMR1000；一台Clearpath Jackal配备类似的传感器套件。定制的NYU-ARPL四旋翼飞行器搭载一个前向RealSense D435i、一个下视IMX219彩色相机、一个PX4飞控和GPS。所有机器人在同一个5G Wi-Fi子网上运行ROS 1，并采用NTP时间同步。
• 具有精心设计重叠区域的序列： 室内序列”Indoor-NYUARPL”（38米×60米的实验室/走廊；三段1空中+1地面的序列以及一段2+2的序列，空中机器人在地面机器人以0.5米/秒移动时于其上方2米处飞行）以及室外序列”HOUSE”（150米×30米）和”FOREST”（100米×80米），在这些序列中团队被拆分为空地子团队，空中机器人以2-10米高度飞行，地面机器人以最高1.5米/秒行驶；其中一段序列甚至在运行过程中切换空地配对方式以研究编队效应。为便于比较，还加入了若干单空中机器人序列。
• 位姿标注： 空中机器人融合GPS与OpenVINS立体视觉-惯性里程计；地面机器人使用IMU+轮式里程计。跨机器人相对位姿来自安装在地面机器人上的8个AprilTag标签组，由空中机器人的下视相机检测并通过PnP求解得到。内参/外参使用Kalibr标定，IMU内参通过Allan方差分析获得，一个共享的标定板用于对齐整个团队的起始位姿。
• 零样本感知标注： 语义实例掩码由RAM+Grounding DINO+SAM生成（通过后处理得到2D框），并借助传播模型在帧间保持时间一致性；单目深度标注来自ZoeDepth（选择该方法的原因是RealSense的短基线立体相机使得经典的SGBM/图割立体匹配效果不如现代单目深度方法）。
• 保留真实世界噪声： 颜色抖动、时间上不连续的激光雷达强度、室内及林冠下的GPS拒止/漂移、温度依赖的IMU内参，以及丢失的时钟同步——这些正是仿真环境所掩盖的干扰因素。

实验结果

该论文的评估是定性的——其贡献在于基础设施层面。论文在协作感知任务上展示了该数据集：一个图神经网络系统让两台空中机器人和一台地面机器人共享特征图，从而执行多机器人单目深度估计和语义分割，能够恢复远处物体的预测（深度图中的树木、分割图中的房屋），并在某一机器人的图像传感器受损时，相比单智能体基线仍保持鲁棒性。论文中展示了室内和室外序列上的零样本语义/深度标注；完整的序列表格与传感器规格请参见原论文。数据和工具已在arplaboratory/CoPeD上发布。

对SLAM的意义

以往的协作SLAM论文大多在由单机器人数据集人为拆分给虚拟智能体的数据上进行评估，这掩盖了真实部署中最困难的部分：异步感知、异构平台，以及对同一地点真正不同的视角。CoPeD为诸如Kimera-Multi和Swarm-SLAM这样的协作SLAM系统提供了一个真实的空地基准，其作用类似于EuRoC对单机器人VIO的意义——并且其基于AprilTag的跨机器人真值直接支持对跨机器人回环检测和地图合并的评估。

相关条目

• Kimera-Multi —— 此类数据集所要评测的分布式度量-语义协作SLAM系统
• Swarm-SLAM —— 在多机器人数据上评估的去中心化协作SLAM框架
• 跨机器人回环检测 —— 跨机器人视角重叠所要测试的能力
• 地图合并 —— 将空中与地面子地图对齐到同一坐标系
• 通信约束 —— 该数据集所体现的真实世界条件（间歇、受限的链路）