跳到正文
arXiv cs.AI· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Xiangyu Zhou, Dongxiao Zhu·· 10 小时前AI 评分34

超越 Sink Token:视觉语言模型中的 Sink 引导键编辑

Beyond the Sink Token: Sink-Guided Key Editing in Vision-Language Models

AI 导读

研究提出 SHRINK,一种无需训练的方法,通过在生成过程中部分削减可见键中与 sink 对齐的分量来调控注意力。在采样推理下,该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上分别将平均准确率提升 5.1 和 2.7 个百分点,在 Qwen2.5-VL-7B 与 Gemma-3-4B 上增益较小。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在视觉语言模型(VLM)中,少数 sink token 会吸引不成比例的注意力。以往研究考察了这些 token 为何吸引注意力,而我们则研究 sink-key 方向如何影响对图像和问题 token 的注意力。在四个被探查的 VLM 中,增大正向 sink 对齐分量的幅度会平均提高注意力,而增大负向分量的幅度则会降低注意力;这些响应在后续层中持续存在。这表明原生 sink key 可作为控制其自身位置之外注意力的参照。受此发现启发,我们提出 SHRINK,一种无需训练的方法,在生成过程中部分降低可见键中与 sink 对齐的分量。在采样推理下的九个基准上,该方法在 LLaVA-OneVision-7B 和 Qwen2.5-VL-3B 上分别将平均准确率提升 5.1 和 2.7 个百分点,在另外两个主要模型 Qwen2.5-VL-7B 和 Gemma-3-4B 上提升较小。除 SHRINK 之外,重新缩放与 sink 对齐的键分量可以替代两种现有注意力引导方法 GIFT 和 ACG 的注意力操作,在幻觉基准上取得相当的准确率。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.23516 [cs.CV]
  (或 arXiv:2611.23516v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23516

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Dongxiao Zhu [查看邮箱]
[v1] 2026年11月17日星期二 21:07:08 UTC(683 KB)

来源:arXiv cs.AI · arxiv.org