arXiv cs.CL· Binglei Li, Mengping Yang, Zhiyu Tan, Wenxu Qian, Junping Zhang, Hao Li·· 6 天前AI 评分22
文本到图像 Transformer 中的注意力汇：扩散模型与自回归模型对比研究
Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
AI 导读
研究系统分析了文本到图像 Transformer 中的注意力汇现象，发现双向扩散模型和自回归模型中均存在注意力汇，但模式截然不同：自回归模型集中于首个 token 和全局 token，双向模型则出现在模态边界、文本区域和空间角落。扰动汇相关注意力头比非汇头产生更大平均变化，引入 register token 可重新分配注意力汇且部分配置能保持或略微提升生成性能。
正文 · AI 翻译
摘要：注意力汇是指持续获得不成比例注意力权重的 token 或位置，其获得的注意力往往超出其语义内容所应有的水平。尽管在大型语言模型中已有大量研究，但它们在文本到图像（T2I）Transformer 中的行为与功能相关性仍基本未被探索。为填补这一空白并更好地理解文本到图像 Transformer 如何分配和路由注意力，我们在双向扩散模型和因果自回归模型中探索了文本到图像 Transformer 的这一现象。具体而言，我们探究注意力汇是否存在、在何处出现，以及它们如何在功能上影响生成。通过系统性的注意力分析和有针对性的干预，我们发现注意力汇在双向扩散模型和自回归模型中均会出现，但表现出不同的模式。自回归模型将注意力集中在第一个 token 和全局尺度 token 上，而双向模型则在模态边界附近、文本区域内以及空间角落处形成注意力汇。此外，这些模式在不同生成阶段有所变化，并且局限于稀疏的层和注意力头子集。为评估其功能相关性，我们扰动与注意力汇相关的头和 token 位置。结果表明，扰动按注意力汇排序的头所产生的平均变化大于非注意力汇的对照，而某些注意力汇位置的扰动对双向模型分数的影响有限。我们进一步引入寄存器 token 来重新分配注意力汇，并发现若干配置能够保持或略微提升生成性能。总体而言，注意力汇是一种依赖于架构、推理阶段和组件的现象，为文本到图像 Transformer 的机制分析和有原则的注意力设计提供了基础。
| 评论： | 10 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13337 [cs.CV] |
| （或使用 arXiv:2610.13337v1 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.13337 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Binglei Li [查看邮箱]
[v1]
2026年10月9日星期五 10:10:51 UTC（2,271 KB）
来源：arXiv cs.CL · arxiv.org