arXiv cs.AI· Hui Zhu, Saleh Zare Zade, Rafi Ibn Sultan, Deng Pan, Arun Ross, Dongxiao Zhu·· 10 小时前AI 评分34
BOS Summary:让首个 token 承载输入上下文的无训练推理方法
BOS Summary: The First Token Matters
AI 导读
BOS Summary 是一种无需训练的推理时方法,在 prefill 阶段仅对 BOS query 行放宽因果掩码,使 BOS 聚合全部视觉与文本输入 token 形成上下文表示,且不增加参数、辅助模块或解码开销。
正文 · AI 翻译
摘要:大型视觉语言模型(LVLM)和语言模型(LLM)常常表现出注意力汇(attention sink)现象,即某些特定位置(例如序列起始(BOS)token)获得了不成比例的注意力份额。然而,在标准的因果掩码下,BOS 查询只关注自身,因此后续 token 反复访问的表示不携带任何关于输入的信息。我们提出 BOS Summary,这是一种无需训练的推理时方法,它重新利用这条持久通路来承载输入上下文。在预填充阶段的单个 transformer 层中,BOS Summary 仅对 BOS 查询行放宽因果约束,让 BOS 将所有视觉和文本输入 token 聚合为自导出的上下文表示,而其他所有 token 仍保持标准因果注意力。随后,在解码过程中,模型始终可以访问这一增强后的表示,且无需额外参数、辅助模块或解码时开销。在多个 VLM 和 LLM 系列以及八个多模态和纯文本基准上,BOS Summary 优于直接提示和思维链提示,并在多步推理任务上优于近期的注意力汇干预方法。机制分析表明,使 BOS 具有输入特异性也会削弱其注意力汇主导地位,并将注意力重新分配到承载内容的提示 token 上,这表明改变注意力汇所承载的内容会重塑后续层分配注意力的方式。
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.23508 [cs.AI] |
| (或 arXiv:2611.23508v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23508 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dongxiao Zhu [查看电子邮件]
[v1]
2026年11月17日星期二 21:01:03 UTC(1,470 KB)
来源:arXiv cs.AI · arxiv.org