arXiv cs.CL· Arjun Boya, Charan Sai Bandaru, Masthanaiah Pillimetla, Kavana Chidanandappa·· 3 天前AI 评分22
从内在维度选择注意力头数量：一项小规模研究
Choosing the Number of Attention Heads from Intrinsic Dimension: A Small-Scale Study
AI 导读
一项小规模研究提出用无标签估计 token 表示的内在维度来预设 Transformer 注意力头数：在 WikiText-2 的 DistilBERT 嵌入上训练嵌套 dropout VAE，取 rate-distortion 曲线拐点处的 KL 权重，得到 k*=9.2（95% CI [8.6, 9.8]）。
正文 · AI 翻译
摘要：Transformer 中注意力头的数量通常由惯例或网格搜索确定。我们测试了一种提前设定该数量的简单启发式方法：在无标签的情况下估计 token 表示的内在维度，并使用大致相同数量的注意力头。我们用在 WikiText-2 的 DistilBERT 嵌入上训练的嵌套 dropout VAE 来估计内在维度，并在 VAE 率失真曲线的拐点处选择 KL 权重，而非手动选择。这给出 $k^*=9.2$（95% CI [8.6, 9.8]）。在一个从头训练的小型 4 层 transformer 中，10 个注意力头和 32 个注意力头在 SST-2 和 MRPC 上统计等价（对 10 个随机种子进行配对 TOST，$\pm1$ 分容差），而 10 头模型的注意力参数少 69%。从一开始就训练 10 个头也略微优于训练 32 个头再剪枝到 10 个（0.6 分，$p=0.008$）。证据较为有限：两个分类任务、一个小型架构、没有预训练模型，且内在维度与注意力头数量之间没有正式联系。我们将该结果作为一个值得在更大规模上测试的实用启发式方法提出，而非作为一般性原则。
| 评论： | 9 页，1 幅图，4 张表。代码：this https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19966 [cs.CL] |
| （或 arXiv:2610.19966v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.19966 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Arjun Boya [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 10:50:40 UTC（12 KB）
来源：arXiv cs.CL · arxiv.org