arXiv cs.AI· Mengke Zhang, Tianyi Yang, Xinzhuo Li, Anlong Ming·· 3 天前AI 评分24
OpenDepth：复用图像编辑先验实现鲁棒开放世界单目深度估计
OpenDepth: Repurposing Image Editing Priors for Robust Open-World Monocular Depth Estimation
AI 导读
OpenDepth 是一个鲁棒开放世界单目深度估计框架，通过复用 Image-to-Image（I2I）模型的结构保持编辑先验，将开放世界深度估计建模为跨多风格图像的一致几何推理。该方法在 DiT 浅层特征对齐并引入联合 RGB 潜变量重建任务，以解耦环境风格干扰。在标准与极端天气基准上，OpenDepth 刷新了鲁棒零样本深度估计的 SOTA 记录。
正文 · AI 翻译
摘要：近期，生成先验的融合彻底改变了单目深度估计（MDE），以极高的数据效率实现了最先进（SOTA）的性能。然而，尽管基于文本到图像（T2I）模型的方法在一般场景中表现出色，但面对开放世界环境扰动（如光照变化和恶劣天气）时，其效能急剧下降。由于 T2I 先验是为语义合成而非保留像素级结构而优化的，它们难以在剧烈视觉变化下将几何结构与外观解耦，容易引发结构性幻觉。因此，我们的核心见解是将开放世界深度估计建模为跨多风格图像的一致几何推理，充分利用图像到图像（I2I）模型强大的结构保持编辑先验。基于此，我们提出了 OpenDepth，一个鲁棒的开放世界 MDE 框架，引入了“域内感知”——即将共享相同几何结构的不同风格输入映射到统一潜在空间的能力。为实现这一目标，我们首先对齐扩散 Transformer（DiT）内的浅层特征，将退化观测锚定到统一的几何表示。此外，我们引入联合 RGB 潜在重建任务，要求模型从退化输入中恢复干净的 RGB 信息。这种多阶段策略有效解耦了环境风格干扰，迫使模型严格专注于底层几何恢复。大量评估表明，OpenDepth 在标准和极端天气基准上为鲁棒的零样本深度估计树立了新的 SOTA 记录，展现出卓越的结构完整性和适应性。
| 评论： | 被 ACM Multimedia 2026 接收。18 页，9 幅图，包括补充材料 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.10; I.4.8 |
| 引用为： | arXiv:2610.17610 [cs.AI] |
| （或 arXiv:2610.17610v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17610 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mengke Zhang [查看电子邮件]
[v1]
2026年10月13日星期二 02:29:58 UTC (27,601 KB)
[v2]
2026年10月14日星期三 12:26:42 UTC (27,601 KB)
来源：arXiv cs.AI · arxiv.org