PoseNet

Kendall 2015 · 论文

一句话总结 — 第一个直接从单张RGB图像回归完整6自由度相机位姿(平移+四元数)的CNN,开创了用于视觉重定位的绝对位姿回归(Absolute Pose Regression, APR),每帧仅需5毫秒、模型仅50MB。

问题

经典的重定位方法要么是度量式的(将特征与3D地图匹配,求解PnP——需要良好的初始估计、数GB的存储空间,并且在模糊、弱光或纹理稀少的场景下SIFT类匹配会失效),要么是基于外观的(在一组离散地点中进行分类——只能得到粗略的位置)。PoseNet针对的是”迷失/被劫持机器人”问题,探究一个卷积网络能否将单张224x224图像直接映射为连续的6自由度位姿,做到端到端、无需特征工程、无需地图、无需图优化——并探究在位姿标注数据稀缺(每个场景仅几百到几千帧,由SfM自动标注)的情况下,这是否可训练。

方法与架构

• 骨干网络:一个改进的GoogLeNet(23层带可训练参数的层)。三个softmax分类器全部替换为输出7维位姿向量的仿射回归器,并在最终回归器之前插入一个额外的2048维全连接层,以形成可探索的定位特征。输出为

$$\mathbf{p} = [\mathbf{x}, \mathbf{q}]$$

其中位置$\mathbf{x} \in \mathbb{R}^3$,朝向四元数$\mathbf{q} \in \mathbb{R}^4$;选用四元数是因为任意4维值经单位归一化即可映射为有效的旋转(比对旋转矩阵做正交归一化更简单);测试时对$\mathbf{q}$做归一化。

• 损失函数:联合回归,用一个尺度因子来平衡两项,

$$loss(I) = \lVert\hat{\mathbf{x}}-\mathbf{x}\rVert_2 + \beta\,\left\lVert\hat{\mathbf{q}}-\frac{\mathbf{q}}{\lVert\mathbf{q}\rVert}\right\rVert_2$$

最优的$\beta$是训练结束时位置误差与朝向误差期望值的比值,通过网格搜索得到:室内120–750,室外250–2000。将位置和朝向分开训练,或放在不同分支中训练,效果都更差——每个输出都有助于分解出另一个的因素。

• 迁移学习:权重先在ImageNet/Places上作为分类器进行预训练,这使得即便训练集稀疏也能以更少的时间收敛到更低的误差;Places(与场景更相关)最终优于ImageNet。学到的特征是位姿的平滑变化、基本一一对应的函数,并能凭借数十个样本泛化到未见过的场景。
• 通过SfM获取数据:训练用的位姿来自对手机拍摄视频(2Hz帧率,约1米间距)的运动恢复结构(structure-from-motion)重建,这使标注工作简化为仅需录制视频;论文发布了Cambridge Landmarks数据集(5个室外场景)。
• 推理:单个中心裁剪耗时5毫秒;对128个均匀分布的裁剪取平均(95毫秒)可带来小幅提升,主要体现在杂乱场景中。

实验结果

• 总体:在大型室外场景(最大达50,000平方米)上约2米、6度的精度,室内约0.5米、10度,均达到实时水平。
• Cambridge Landmarks(中位数):King’s College 1.92米/5.40度(密集版1.66米/4.86度),Old Hospital 2.31米/5.38度,Shop Facade 1.46米/8.08度,St Mary’s Church 2.65米/8.48度,Street 3.67米/6.50度——均优于在其自身特征向量上做最近邻匹配的结果(例如King’s College上为3.34米/5.92度),证明其能超越训练集进行回归。
• 7 Scenes(中位数):例如Chess 0.32米/8.12度,Office 0.48米/7.68度,Stairs 0.47米/13.8度——但基于RGB-D的SCoRe Forest可达0.03–0.06米,因此在深度式场景坐标回归适用的场合,PoseNet的精度远远不及(尽管在95百分位以上最难的帧上PoseNet占优)。
• 效率:权重仅50MB,每次位姿估计5毫秒,相比之下基于SIFT的度量式定位需要数GB存储和数分钟时间,其代价随训练数据以$\mathcal{O}(n^2)$增长。
• 鲁棒性:在运动模糊、黄昏/夜间轮廓、雾、雨、动态物体以及未知相机内参(35–45毫米焦距,对比30毫米的训练相机)等情况下依然能够定位——这些情形下基于SIFT的SfM会彻底失效;精度在训练图像减少到仅数十张、间距4米时仍能优雅地逐步下降。

对SLAM的意义

PoseNet开创了学习式重定位的研究方向,并定义了APR问题的设定,证明了卷积网络可以通过迁移学习求解超出图像平面的回归问题。其局限性与其成果同样具有影响力:与基于结构的方法相比米级的精度差距,推动了场景坐标回归方法(DSAC、ACE)的发展,这类方法在流程中保留几何求解器,能达到厘米级精度;后续分析也表明APR的行为更接近图像检索而非几何计算。在SLAM中,PoseNet式的回归作为粗略重定位先验得以延续,其紧凑的常量内存”权重中的地图”预示了后来的隐式神经地图。

相关条目

• CNN位姿回归的局限性 — 解释为何APR精度受限于检索能力
• DSAC — 基于可微RANSAC的场景坐标回归
• DSAC++ — 改进的场景坐标回归训练方法
• ACE — 快速的现代场景坐标回归方法
• hloc — 基于结构的分层定位替代方案