Neural Ray Surfaces

Vasiljevic 2020 · 论文

一句话总结 — 在自监督深度与自我运动学习中，用一个学习得到的逐像素光线曲面取代固定的针孔投影模型，使同一套光度训练框架无需标定即可适用于鱼眼、折反射甚至水下相机。

问题

自监督学习已成为深度和自我运动估计的强大工具，但这一系列方法都共享一个显著的隐藏局限：视图合成步骤假定一个已知的参数化相机模型——几乎总是标准的针孔几何模型。因此该方法在明显偏离这一假设的成像系统上会彻底失效（折反射相机、水下成像、装在弯曲挡风玻璃后面的相机）。参数化畸变模型只是近似正确的，每种相机类型都需要一个新的可微投影模型，而对某些场景来说这类模型根本不存在。即便是学习针孔内参（Gordon 2019）也无法覆盖这些情形。

方法与架构

标准的自监督框架（Zhou 等人）被保留下来：一个深度网络 $f_d$ ，一个位姿网络 $f_{\mathbf{x}}$ 用于预测目标帧与上下文帧之间的 $\mathbf{X}_{t\to c}\in SE(3)$ ，以及光度变形

$\hat{\mathbf{p}}_{t}=\pi_{c}\big(\mathbf{R}_{t\rightarrow c}\,\phi_{t}(\mathbf{p}_{t},d_{t})+\mathbf{t}_{t\rightarrow c}\big),$

使用 $\mathcal{L}=\mathcal{L}_{p}+\lambda_{d}\mathcal{L}_{d}$ （SSIM+L1 外观损失，对上下文帧取逐像素最小值并加自动掩码，再加边缘感知平滑项）进行训练。发生变化的是反投影 $\phi$ 和投影 $\pi$ 。遵循 Grossberg 与 Nayar 的通用相机模型，每个像素都被赋予一条单位观察光线：一个与深度网络编码器共享的第二解码器预测光线曲面 $\hat{\mathbf{Q}}=f_r(I)$ 。

反投影是闭式的——将光线按深度从相机中心 $\mathbf{S}$ （对于中心相机设为原点）进行缩放：

$\mathbf{P}(u,v)=\mathbf{S}(u,v)+\hat{D}(u,v)\,\hat{\mathbf{Q}}(u,v).$

投影没有闭式解：一个三维点 $\mathbf{P}_j$ 必须与上下文图像中光线方向与 $\mathbf{r}_{c\to j}=\mathbf{P}_{j}-\mathbf{S}_{c}$ 最吻合的像素相匹配，

$\mathbf{p}_{i}^{*}=\arg\max_{\mathbf{p}_{i}\in I_{c}}\langle\hat{\mathbf{Q}}_{c}(\mathbf{p}_{i})\,,\mathbf{r}_{c\to j}\rangle,$

这一操作的复杂度为 $O((HW)^2)$ ，且不可微。三项改进使其可训练：（1）softmax 关联——用带温度参数 $\tau$ 的 softmax $\tilde{\mathbf{M}}$ 取代对相似度张量 $\mathbf{M}_{ij}$ 的 argmax，将 $\tau$ 逐步退火至趋近独热编码，再读出像素索引并用空间变换网络进行采样；（2）残差光线曲面模板——在一个固定模板 $\mathbf{Q}_0$ （若不存在标定信息，则取来自虚拟内参 $f_x=c_x=W/2$ 、 $f_y=c_y=H/2$ 的针孔曲面）周围学习 $\hat{\mathbf{Q}}=\mathbf{Q}_{0}+\lambda_{r}\hat{\mathbf{Q}}_{r}$ ，在 10 个 epoch 内将 $\lambda_r$ 从 0 逐渐提升到 1——这一针孔先验即便对折反射数据也能稳定训练；（3）基于图块的关联——训练时将搜索范围限制在目标像素周围半分辨率下的 $41\times 41$ 网格内。测试时无需任何近似；全分辨率的光线曲面直接由网络给出。

实验结果

KITTI（在接近针孔的数据上做健全性检验，测距范围 80 米内）：采用完全学习式光线曲面的 NRS-ResNet（RS-L）达到 Abs Rel 0.134 / RMSE 5.263——与 Gordon 等人的学习式针孔方法（0.128 / 5.230）相当；NRS-PackNet 进一步提升到 Abs Rel 0.127 / Sq Rel 0.667 / RMSE 4.049。学习到的曲面在帧与帧之间保持稳定（测试集上的变异系数低于 2.5%）。
Multi-FOV（合成鱼眼数据）：Abs Rel 从针孔模型的 0.441 降至 NRS 的 0.225——下降 51%（ $\delta_{1.25}$ 从 0.336 提升到 0.593）。
OmniCam（折反射相机，360° 视场角）：首个在折反射视频上学习里程计的自监督单目方法——ATE 为 0.035，而同一框架采用针孔投影时为 0.408（且会发散）。
KITTI 里程计（序列 09/10，5 帧片段 ATE）： $0.0150\pm 0.0301$ / $0.0103\pm 0.0073$ ，在完全不具备相机知识的情况下与经过标定的针孔模型相当。
在水下洞穴序列以及挡风玻璃后拍摄的鱼眼行车记录仪序列上给出了定性结果，而经过校正的针孔基线方法在这些场景中无法给出有意义的预测。

所有实验使用完全相同的架构和超参数——唯一变化的是训练视频本身。

对SLAM的意义

机器人携带的相机越来越多地无法用针孔模型很好地描述（无人机和汽车上的鱼眼相机、折反射相机装置），而为每台设备进行标定是一项部署成本。Neural Ray Surfaces 表明相机模型本身也可以作为又一个可学习的组件来处理——一个可微的逐像素光线场——从而将自监督深度/自我运动工具箱扩展到任意光学系统。这是朝着能够适应任意传感器的 SLAM 前端迈出的一步，也是跨异构光学系统实现免标定几何学习的参考点。

Neural Ray Surfaces

问题

方法与架构

实验结果

对SLAM的意义

相关条目