arXiv cs.AI· Junjie Wang, Keyu Chen, Yulin Li, Bin Chen, Hengshuang Zhao, Xiaojuan Qi, Zhuotao Tian·· 14 小时前AI 评分26
DeCLIP：解耦自注意力提升 CLIP 开放词汇密集感知性能
Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception
AI 导读
研究者提出 DeCLIP 框架，通过解耦 CLIP 的自注意力模块分别获得“内容”与“上下文”特征，以增强开放词汇密集感知。上下文特征联合蒸馏视觉基础模型（VFM）的语义关联与扩散模型的目标完整性线索，内容特征则对齐图像裁剪表示并用 VFM 的区域关联约束。DeCLIP 在 2D 检测与分割、3D 实例分割、视频实例分割和 6D 物体位姿估计等任务上均取得 SOTA。
正文 · AI 翻译
摘要：密集视觉感知任务因依赖预定义类别而受到限制，这削弱了其在视觉概念无界的现实场景中的适用性。尽管像 CLIP 这样的视觉语言模型（VLM）在开放词汇任务中展现出潜力，但由于局部特征表示的局限，将其直接应用于密集感知往往导致次优性能。在本工作中，我们提出观察：CLIP 的图像 token 难以有效聚合来自空间或语义相关区域的信息，导致特征缺乏局部可判别性和空间一致性。为解决这一问题，我们提出 DeCLIP，一种新颖的框架，通过解耦自注意力模块分别获得“内容”和“上下文”特征，从而增强 CLIP。\revise{上下文特征通过联合蒸馏来自视觉基础模型（VFM）的语义相关性和来自扩散模型的目标完整性线索得到增强，从而提升空间一致性。同时，内容特征与图像裁剪表示对齐，并受 VFM 的区域相关性约束，以提高局部可判别性。大量实验表明，DeCLIP 为开放词汇密集感知奠定了坚实基础，在包括 2D 检测与分割、3D 实例分割、视频实例分割和 6D 物体姿态估计在内的广泛任务中持续取得最先进性能。} 代码可在 此 https URL 获取
| 评论： | arXiv 管理员注：文本与 arXiv:2505.04410 有重叠 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.11256 [cs.CV] |
| （或 arXiv:2508.11256v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.11256 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Junjie Wang [查看电子邮件]
[v1]
2025年8月15日星期五 06:43:51 UTC（21,631 KB）
[v2]
2026年10月25日星期日 16:09:11 UTC（34,091 KB）
来源：arXiv cs.AI · arxiv.org