Depth Anything V2

Yang 2024 · 论文

一句话总结 — Depth Anything V2通过三项实践,产出比V1更精细、更鲁棒的单目深度:仅用精确的合成图像训练教师模型,将教师模型扩展到DINOv2-G规模,并通过6200万张伪标注真实图像来训练学生模型。

问题

Depth Anything V1的泛化能力令人印象深刻,但其教师模型是在带标签的真实图像上训练的,而这些图像的深度标签噪声大且粗糙——深度传感器在透明物体上失效,立体匹配在重复图案上失效,SfM在动态物体上失效——因此训练出的模型会继承这些错误(MiDaS和V1在透明表面挑战赛(Transparent Surface Challenge)上的得分仅为25.9%和53.5%)。合成渲染图像具有像素级精确的深度(“真正的GT”),但带来两个障碍:合成图像到真实图像的分布偏移(合成图像过于”干净”和”有序”)以及预定义场景类型带来的场景覆盖范围受限。V2要探讨的问题是,如何在不付出域差距代价的前提下获得合成标签的精度——“不追求花哨的技术”。

方法与架构

该流程分为三个阶段(论文图7):

1. 仅用合成数据训练教师模型。 一个带有DPT深度解码器的DINOv2-G(13亿参数)编码器,纯粹在来自五个数据集的59.5万张精确合成图像上训练(BlendedMVS 11.5万张、Hypersim 6万张、IRS 10.3万张、TartanAir 30.6万张、VKITTI 2 2万张)。一项初步研究表明,只有DINOv2-G能在合成到真实的迁移中存活下来;BEiT、SAM、SynCLR以及更小的DINOv2编码器都存在严重的泛化问题。
2. 对真实图像进行伪标注。 教师模型为来自八个公开数据集的6200万张无标签真实图像分配深度(BDD100K、Google Landmarks、ImageNet-21K、LSUN、Objects365、Open Images V7、Places365、SA-1B)。这些伪标签比人工标注更精细、更完整。
3. 仅在伪标签上训练学生模型。 四个学生模型(DINOv2 small/base/large/giant,2500万至13亿参数)纯粹在伪标注的真实图像上训练——一项消融实验表明,在这一阶段去掉合成图像甚至能对较小的模型略有帮助。这是通过额外的无标签数据实现的标签级蒸馏,比在教师与学生规模差距巨大时进行特征级蒸馏更安全。

在带标签(合成)图像上的训练目标结合了两个MiDaS风格的、作用于仿射不变逆深度的损失:一个尺度与偏移不变损失 $\mathcal{L}_{ssi}$ 和一个梯度匹配损失 $\mathcal{L}_{gm}$,权重比为 $1{:}2$——当标签是合成数据时,$\mathcal{L}_{gm}$ 被证明”对深度锐度极其有益”。在伪标注图像上,每个样本中损失最大的前$n$区域($n=10\%$)被忽略,因为它们可能存在噪声,同时(来自V1的)特征对齐损失保留了DINOv2的语义信息。所有图像均在 $518\times 518$ 分辨率下训练;教师模型:批大小64,训练16万次迭代;学生模型:批大小192,训练48万次迭代;使用Adam,编码器/解码器学习率分别为5e-6/5e-5。

论文还贡献了DA-2K,一个包含1000张高分辨率、多样化图像及2000个稀疏相对深度像素对的评测基准,其构建原因是现有测试集(NYU-D、KITTI)存在噪声标签、单一场景偏差以及约500×500的分辨率:由SAM提示得到的点对由四个专家模型进行投票,存在分歧的则交由经三重检查的人工标注处理。

实验结果

• 零样本相对深度(表2):V2 ViT-L在KITTI上达到AbsRel 0.074 / $\delta_1$ 0.946,在NYU-D上达到0.045 / 0.979——优于MiDaS V3.1(KITTI上0.127/0.850),但与V1相比只是相当,作者认为这反映的是这些基准数据集本身的噪声,而非模型质量的差异。
• DA-2K(表3):V2 ViT-S得分95.3%,ViT-B 97.0%,ViT-L 97.1%,ViT-G 97.4%——对比Marigold的86.8%、Geowizard的88.1%、DepthFM的85.8%,以及Depth Anything V1的88.5%。即便是最小的V2也超过了所有社区模型;最大的V2比Marigold高出10.6%。
• 透明表面挑战赛:零样本83.6%,对比V1的53.5%和MiDaS的25.9%。
• 微调后的度量深度(ZoeDepth流程,表4):ViT-L在NYU-D上获得 $\delta_1$ 0.984 / AbsRel 0.056 / RMSE 0.206,在KITTI上获得 $\delta_1$ 0.983 / AbsRel 0.045 / RMSE 1.861;即便是ViT-S变体也超过了此前基于ViT-L的方法如ZoeDepth。
• 消融实验:加入伪标注真实图像使ViT-S的DA-2K准确率从89.8%提升到95.3%(表5);在DIML上用伪标签而非其人工标签重新训练,使DA-2K准确率从80.2%提升到89.7%(表6)。相比基于SD的模型,V2的速度快10倍以上,且更准确。

对SLAM的意义

锐利、保边的深度对SLAM有直接意义:清晰的物体边界意味着更干净的TSDF/高斯地图,以及更少的深度在轮廓间的渗透,而小型变体能在普通硬件上实时运行。当一篇现代稠密SLAM论文说”我们使用单目深度先验”时,它往往指的就是Depth Anything V2——这使得了解其失效模式以及相对深度与度量深度的区分成为必备知识。它以合成数据为先的方案(精度来自渲染,真实感来自伪标注真实数据)也重塑了几何任务监督信号的获取方式。

相关条目

• Depth Anything
• Marigold
• Metric3D
• MiDaS
• Align3R