arXiv cs.AI· DoYoung Kim, Changkyu Choi, Ad\'in Ram\'irez Rivera, YunSeok Choi, Jee-Hyong Lee·· 3 天前AI 评分27
Know-Thy-Not：双编码器视觉语言模型的无训练定向否定
Know-Thy-Not: Training-Free Targeted Negation in Dual-Encoder Vision-Language Models
AI 导读
双编码器视觉语言模型在否定理解上系统性失败，对"没有狗的猫"和"有狗的猫"打分几乎相同，该问题源于单嵌入框架的固有缺陷。研究者提出无训练方法 Know-Thy-Not（KTN），在图像侧引入拒绝维度直接惩罚被否定概念，并发布首个需要真正拒绝才能通过的基准 COCO-Confusion。
正文 · AI 翻译
摘要：双编码器视觉语言模型在否定处理上系统性失败，对“一只猫没有狗”和“一只猫有狗”的评分几乎相同。我们表明，这一失败是单嵌入框架所固有的。在对比训练下，单嵌入方法最多只能忽略被否定的概念（稀释），但永远无法惩罚其存在（拒绝）。我们提出 Know-Thy-Not（KTN），一种无需训练的方法，引入图像侧拒绝维度，直接在视觉表示中惩罚被否定的概念。我们还提出了 COCO-Confusion，这是首个需要真正拒绝才能成功的基准。在 9 个骨干网络上，KTN 将 COCO-Confusion mAP 相比原始 VLM 提升最多 +25.6，相比最强现有方法提升 +9.6。
| 评论： | 9 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17440 [cs.CV] |
| （或 arXiv:2610.17440v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17440 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：DoYoung Kim [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 21:58:20 UTC（4,575 KB）
来源：arXiv cs.AI · arxiv.org