arXiv cs.AI· Dengjia Zhang, Alexander Martin, Pengyu Yan, Xihan Sun, Jiaqi Li, Benjamin Van Durme, Andrew Yates, Reno Kriz, William Walden·· 3 天前AI 评分30
VLM 中的视觉注意力汇是借来的，而非看到的
Attention Sinks in VLMs Are Borrowed, Not Seen
AI 导读
研究对比六种检测器在四个家族十个 VLM 上的表现，发现只有图像 token 的 key 与语言模型文本注意力汇 key 的中心化余弦相似度能检测出视觉注意力汇，即视觉汇是 key 与文本汇 key 对齐的图像 token。
正文 · AI 翻译
摘要：我们研究如何检测和缓解视觉语言模型（VLM）中的视觉注意力汇。视觉注意力汇是图像 token，无论查询或任务是什么，它们都会吸收图像上的很大一部分注意力，并且会误导那些将注意力图视为模型“看”过哪里的记录的方法。先前的工作通过大规模激活维度检测注意力汇，并提出重新分配它们的注意力，但没有人解决是什么使一个 token 成为注意力汇。在来自四个家族的十个 VLM 上比较六种候选检测器，我们发现只有图像 token 的 key 与语言模型文本注意力汇的 key 之间的中心化余弦相似度能够检测视觉注意力汇。因此，视觉注意力汇是一个 key 与文本注意力汇的 key 对齐的图像 token。将注意力汇的 key 分量沿此方向移动到图像 key 的中位数，会将其注意力送回文本注意力汇（\textbf{Are Borrowed}），同时保持模型答案不变（\textbf{Not Seen}）。在此基础上，我们提出一种无需训练、由熵触发的重新查看方法，它首先清理注意力图，然后裁剪清理后注意力图中被关注最多的区域，并将其插入推理轨迹。清理为前向传播增加的算力可忽略不计，而重新查看提高了准确率，在细粒度 VQA 基准上跨模型家族平均提升 $+4.3$ 分。
| Subjects: | Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2610.15855 [cs.AI] |
| （或 arXiv:2610.15855v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15855 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dengjia Zhang [查看邮箱]
[v1]
2026年10月11日星期日 19:20:41 UTC（2,537 KB）
来源：arXiv cs.AI · arxiv.org