arXiv cs.CL· Beth Pearson, Michael Wray, Martha Lewis·· 2 天前AI 评分22
视觉语言模型如何处理否定？研究用物体注意力对比人类注视
Probing Negation Understanding in Vision-Language Models With Object Attention
AI 导读
研究通过分析注意力模式，考察视觉语言模型（VLM）处理否定的机制，并对比人类注视与模型注意力在肯定句和否定句下的差异。结果显示模型处理否定时通常不遵循类人注意力模式，PaliGemma2-3B 在否定下会将物体注意力转向替代对象，但头级消融表明这只是副产物而非否定处理机制；LLaVA-1.5-7B 则表现出对左侧物体的空间偏好。下游任务评估显示所有模型在肯定与否定问题上均存在性能差距。
正文 · AI 翻译
摘要：否定是语言理解的一个基本方面，视觉语言模型（VLM）能够有效处理否定非常重要。我们通过分析不同模型的注意力模式来研究 VLM 如何处理否定。我们比较了模型在处理肯定与否定陈述时的人类注视与注意力。我们在二元和多元设置下，将对象级模型注意力与人类眼动注视进行比较，并使用合成和真实数据集进行评估。我们发现，模型在解决否定时通常不会遵循类人的注意力模式，这表明它们依赖注意力之外的机制。虽然逐层分析显示 PaliGemma2-3B 在否定下将对象注意力转移到替代项，但我们的逐头消融表明这是副产品，而非否定处理机制。此外，我们发现 LLaVA-1.5-7B 对左侧对象表现出空间偏差。我们对模型在下游任务上的评估表明，所有模型在肯定和否定问题之间都存在差异，这凸显出需要更好地理解否定的底层处理，以缩小这一性能差距。代码可在 此 https URL 获取
| Comments: | EMNLP Findings 2026 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.20852 [cs.CV] |
| （或 arXiv:2610.20852v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20852 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Martha Lewis [查看电子邮件]
[v1]
2026年10月14日星期三 19:41:18 UTC（10,399 KB）
来源：arXiv cs.CL · arxiv.org