跳到正文
Apple Machine Learning Research·· 2 天前AI 评分58

苹果发布 Depth Pro 2:兼顾锐利与时间一致性的单目深度估计

Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth

AI 导读

苹果研究团队提出 Depth Pro 2,可从普通相机拍摄的图像和视频中以原生分辨率估计每个像素的米制深度。该方法针对以往单目深度估计中多帧方法偏向时间一致性、单帧方法偏向边界锐度的取舍,训练一个可同时处理图像与视频的统一网络,使深度图在物体边缘锐利且帧间稳定。团队同时发布了一组在度量精度、锐度、时间一致性和运行时间上构成新 Pareto 前沿的模型,并公开代码与权重。

正文 · AI 翻译

作者Peiyun Hu, Marko Mihajlovic, Lyndon Duong, Lahav Lipson, Wei Dong, Amaël Delaunoy, Stephan R. Richter, Vladlen Koltun

我们提出 Depth Pro 2,一种以全分辨率估计图像和视频稠密度量深度的方法。通过分析以往的单目深度估计方法,我们发现它们通常会在时间一致性和边界锐度之间进行权衡:多帧方法偏向一致性,单帧方法偏向锐度。为克服这一权衡,我们训练了一个单一的可扩展网络,可同时处理图像和视频,并以原生分辨率预测深度图。Depth Pro 2 生成的深度图同时具备度量准确、锐利和时间一致的特点,在这几个维度上均优于先前工作。我们发布了一系列模型,在度量精度、锐度、时间一致性和运行时间方面定义了新的帕累托前沿。

我们在此处发布代码和权重。

Depth Pro 2 可从普通相机拍摄的图像中估计每个像素的深度(以米为单位)。一个网络即可处理单张照片、整段视频或实时摄像头画面,并保持输入的全分辨率。其深度在物体边缘处锐利,且逐帧稳定。

相关阅读与更新。

我们提出 SHARP,一种从单张图像进行照片级真实感视图合成的方法。给定一张照片,SHARP 通过神经网络的一次前向传播,在标准 GPU 上不到一秒内回归出所描绘场景的 3D 高斯表示参数。随后,SHARP 生成的 3D 高斯表示可实时渲染,为附近区域生成高分辨率照片级真实感图像……

阅读更多

我们提出一种用于零样本度量单目深度估计的基础模型。我们的模型 Depth Pro 能合成具有无与伦比锐度和高频细节的高分辨率深度图。其预测为度量式,具有绝对尺度,且不依赖相机内参等元数据的可用性。该模型速度很快,在标准 GPU 上 0.3 秒即可生成 2.25 兆像素的深度图。这些特性得益于……

阅读更多

来源:Apple Machine Learning Research · machinelearning.apple.com