苹果发布 Depth Pro 2 单目深度估计兼顾锐度与时序一致性

原标题:Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth
78AI 研判分

苹果推出 Depth Pro 2,用单一可扩展网络同时处理图像与视频,在原生分辨率下输出度量准确的深度图,首次同时兼顾边界锐度与时序一致性。该模型无需相机内参等元数据即可获得绝对尺度,在标准 GPU 上 0.3 秒生成 225 万像素深度图,并开源代码与权重。

报道正文

我们提出 Depth Pro 2,一种在全分辨率下为图像和视频估计稠密度量深度的方法。通过分析以往的单目深度估计方法,我们发现它们通常会在时间一致性与边界锐利度之间做出取舍:多帧方法倾向于一致性,单帧方法倾向于锐利度。为克服这一取舍,我们训练了一个单一且可扩展的网络,它同时处理图像和视频,并在原生分辨率下预测深度图。Depth Pro 2 生成的深度图同时具备度量准确、锐利和时间一致的特点,在这三个方面均优于以往工作。我们发布了一系列模型,它们在度量精度、锐利度、时间一致性和运行时间方面定义了新的帕累托前沿。

我们在此处发布代码和权重。

Depth Pro 2 可从普通相机拍摄的图像中估计每个像素的深度(以米为单位)。一个网络即可处理单张照片、整段视频或实时摄像头画面,且保持输入的全分辨率。其深度在物体边缘处锐利,并在帧与帧之间保持稳定。

相关阅读与更新。

### 不到一秒的锐利单目视图合成

2025年12月13日研究领域 计算机视觉,研究领域 方法与算法会议 ICLR

我们提出 SHARP,一种从单张图像进行照片级真实感视图合成的方法。给定一张照片,SHARP 通过神经网络的一次前向传播,在标准 GPU 上不到一秒内回归出所描绘场景的 3D 高斯表示参数。随后,SHARP 生成的 3D 高斯表示可实时渲染,为附近区域生成高分辨率照片级真实感图像……

阅读更多### Depth Pro:不到一秒的锐利单目度量深度

2024年10月9日研究领域 计算机视觉会议 ICLR

我们提出了一种用于零样本度量单目深度估计的基础模型。我们的模型 Depth Pro 能够合成高分辨率深度图,具有无与伦比的锐度和高频细节。其预测结果是度量的,具有绝对尺度,且不依赖于相机内参等元数据的可用性。同时,该模型速度很快,在标准 GPU 上仅需 0.3 秒即可生成 2.25 兆像素的深度图。这些特性得益于……