arXiv cs.AI· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Xiangyu Zhou, Dongxiao Zhu·· 10 小时前AI 评分34
超越 Sink Token:视觉语言模型中的 Sink 引导键编辑
Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models
AI 导读
研究提出 SHRINK,一种无需训练的方法,通过在生成过程中部分削减可见键中与 sink 对齐的分量来调控注意力。在采样推理下,该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上分别将平均准确率提升 5.1 和 2.7 个百分点,在 Qwen2.5-VL-7B 与 Gemma-3-4B 上增益较小。
正文 · AI 翻译
摘要:在视觉语言模型(VLM)中,少数 sink token 会吸引不成比例的注意力。以往研究考察了这些 token 为何吸引注意力,而我们则研究 sink-key 方向如何影响对图像和问题 token 的注意力。在四个被探查的 VLM 中,增大正向 sink 对齐分量的幅度会平均提高注意力,而增大负向分量的幅度则会降低注意力;这些响应在后续层中持续存在。这表明原生 sink key 可作为控制其自身位置之外注意力的参照。受此发现启发,我们提出 SHRINK,一种无需训练的方法,在生成过程中部分降低可见键中与 sink 对齐的分量。在采样推理下的九个基准上,该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上分别将平均准确率提升 5.1 和 2.7 个百分点,在另外两个主要模型 Qwen2.5-VL-7B 和 Gemma-3-4B 上提升较小。除 SHRINK 之外,重新缩放与 sink 对齐的键分量可以替代两种现有注意力引导方法 GIFT 和 ACG 的注意力操作,在幻觉基准上取得相当的准确率。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23516 [cs.CV] |
| (或 arXiv:2611.23516v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23516 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dongxiao Zhu [查看邮箱]
[v1]
2026年11月17日星期二 21:07:08 UTC(683 KB)
来源:arXiv cs.AI · arxiv.org