arXiv cs.CL· Seiya Tokui, Shoichiro Yamaguchi, Sosuke Kobayashi·· 11 小时前AI 评分31
语言模型长上下文检索中注意力头维度的影响研究
Head Dimension Matters in Language Models for Long-Context Retrieval
AI 导读
在固定模型规模下，注意力头维度更宽可提升长上下文检索性能，而预训练损失和短上下文非检索任务表现基本不受影响。研究发现宽头模型的检索头占比更高，把更多参数分配给检索；即使长上下文持续预训练时冻结注意力模块的投影权重，宽头仍能带来检索提升，说明其还促进了嵌入向量和 MLP 等组件的有效适配。
正文 · AI 翻译
摘要：多头注意力通过查询--键交互和值聚合来检索并组合上下文表示，其中头维度约束了每个头的表示空间。在长上下文处理中，将固定的参数预算分配给更少、更宽的头是否能提升信息检索，目前仍不清楚。本文研究了头维度如何影响长上下文检索任务的性能。我们的实证研究表明，预训练损失和短上下文非检索任务性能受头维度影响不大，而在固定模型规模下，长上下文检索性能随头变宽而提升。我们发现，头更宽的模型具有更高比例的检索头，从而将更多参数用于检索。我们的消融研究还表明，即使在长上下文持续预训练期间冻结注意力模块中的投影权重，检索性能仍随头变宽而提升，这表明更宽的头不仅有利于注意力模块的更新，还能使嵌入和 MLP 等组件实现更有效的适应。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32213 [cs.LG] |
| （或 arXiv:2610.32213v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32213 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seiya Tokui [查看邮箱]
[v1]
2026年10月23日星期五 06:08:34 UTC（1,089 KB）
来源：arXiv cs.CL · arxiv.org