arXiv cs.AI· Rit Gangopadhyay, Alex Wong·· 12 小时前AI 评分31
DEX：让视觉基础模型适配鱼眼相机的深度估计与开放词汇分割
From Perspective to Fisheye Depth Estimation and Open-Vocabulary Segmentation
AI 导读
研究者提出 Distortion Extenders（DEX），一组可学习参数，通过自监督对齐损失把鱼眼图像的潜空间嵌入变换为接近透视图像的形式，从而将视觉基础模型泛化到鱼眼相机。DEX 与架构和任务无关，在单目深度估计和开放词汇分割上、对卷积和 Transformer 架构均持续优于基线，覆盖室内外鱼眼数据集。其激活还可解码为畸变系数以支持相机标定，代码已开源。
正文 · AI 翻译
摘要：视觉基础模型能够以高保真估计在三维（3D）场景中泛化；其经验上的成功可归因于在透视图像的大规模数据集上进行训练。然而，当迁移到宽视场（FoV）图像（例如鱼眼相机拍摄的图像）时，由于图像像素上的径向畸变所导致的协变量偏移，它们会返回错误的输出。我们提出了一种将视觉基础模型泛化到鱼眼相机的方法。我们方法的关键在于一组可学习参数，称为畸变扩展器（DEX），它对鱼眼畸变系数以及编码在潜在空间中的鱼眼图像与透视图像之间的分布偏移进行建模。通过最小化自监督对齐损失，DEX 将鱼眼图像的潜在嵌入变换为类似透视图像的潜在嵌入，以恢复高保真估计。DEX 与架构和任务无关：我们在单目深度估计和开放词汇分割上，针对基于卷积和 Transformer 的架构展示了 DEX，在室内和室外鱼眼数据集上均持续优于基线。作为副产品，DEX 的激活值还可以被解码为畸变系数，以支持相机标定。代码见：this https URL。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.27860 [cs.CV] |
| （或此版本的 arXiv:2608.27860v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2608.27860 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.1007/978-3-032-37627-5_14
链接到相关资源的 DOI |
提交历史
来自：Suchisrit Gangopadhyay [查看电子邮件]
[v1]
2026年8月28日星期五 03:10:18 UTC（30,430 KB）
[v2]
2026年10月26日星期一 21:50:37 UTC（15,270 KB）
来源：arXiv cs.AI · arxiv.org