Depth Pro 2:清晰且时间一致的度量单目深度

媒体报道 Apple 机器学习 原文语言:英文

Depth Pro 2 是一种用于估计图像和视频全分辨率密集度量深度的方法,解决了以往单目深度估计中时间一致性与边界清晰度难以兼顾的权衡问题。该单一可扩展网络能够同时处理图像和视频,并预测出原生分辨率的深度图。它能够生成具备度量准确性、边界清晰且时间一致的深度图,并已开源代码与权重。

全文

Depth Pro 2:锐利且时序一致的度量单目深度

作者:Peiyun Hu、Marko Mihajlovic、Lyndon Duong、Lahav Lipson、Wei Dong、Amaël Delaunoy、Stephan R. Richter、Vladlen Koltun

查看源代码(GitHub)

我们提出了 Depth Pro 2,这是一种在全分辨率下为图像和视频估计稠密度量深度的方法。通过分析单目深度估计的已有方法,我们发现它们通常在时序一致性和边缘锐利度之间进行权衡:多帧方法倾向于一致性,单帧方法倾向于锐利度。为克服这一权衡,我们训练了一个单一的可扩展网络,既能处理图像也能处理视频,并在原始分辨率下预测深度图。Depth Pro 2 能同时生成度量准确、锐利且时序一致的深度图,在这些维度上均优于已有工作。我们发布了一系列模型,定义了在度量精度、锐利度、时序一致性和运行时方面的新帕累托前沿。

我们在此发布代码和权重。

Depth Pro 2 能从普通相机拍摄的图像中估计每个像素的深度(单位为米)。一个网络即可处理单张照片、整段视频或实时摄像头输入,且保持输入的全分辨率。其深度在物体边缘处锐利,并在帧与帧之间保持稳定。

正文为 AI 译文。

参考来源

← 返回每日AI报告