arXiv cs.CL· Basavaraj R M, Aryan Bharat Kumar·· 10 小时前AI 评分24
注意力手术的合理性检查：表示驱动设计中的零模型与匹配干预
Sanity Checks for Attention Surgery: Null Models and Matched Interventions for Representation-Motivated Design
AI 导读
研究提出三项可复用检查，用于验证基于内部表示统计量的 Transformer 架构修改是否成立，并以自注意力移除为案例。在九个预训练模型（5,408 个注意力头，124M 至 6.9B 参数）上，早期位置因果零模型可解释头-值余弦对齐的 48% 至 63%。
正文 · AI 翻译
摘要：Transformer 架构修改常常先测量内部表示上的某个统计量，观察到它很大，便在架构上将其移除，然后报告性能提升。解读这一序列需要评估该统计量是否超过其噪声底、是否能在几何零假设下依然成立，以及训练收益是否依赖于被移除的特定方向。我们将这些要求表述为三项可复用的检验，并将其应用于自注意力移除——该操作会删除注意力头输出中与其自身 value 向量对齐的分量。在九个多头预训练模型（5,408 个头，124M 至 6.9B 参数）上，一个更早位置的因果零假设解释了头-值余弦对齐的 48% 至 63%，且没有单调的规模趋势。在分组查询注意力下，这种对齐特定于每个头自己的键值组，并在组间反转（组内 +0.24 至 +0.27，组间 -0.11 至 -0.19）。分半信度表明，逐头干预效应在 GPT-2 中可分辨（$r_\Delta = 0.80$），但在 Pythia-160M（0.42）和 Pythia-410M（0.53）中减弱，而结构自余弦信度在三个模型中均近乎完美（$r_{\text{stat}} > 0.99$）；哪个统计量能预测其自身的干预效应取决于模型。在一项预注册的 3 臂 × 8 种子配对因子实验中，每次运行 $4.0 \times 10^8$ 个 token（399,900,672 个 token），一个固定的任意秩一方向与基线无差异（+0.0011 nats，$p = 0.197$），而自指向移除降低了验证损失（-0.0029 nats，Holm 校正后 $p = 0.0023$），并直接优于固定任意对照（-0.0040 nats，$p = 0.0018$）。在 50.9M 规模下，训练收益需要自身 value 方向而非固定任意方向，但仅凭较大的余弦对齐并不能在冻结模型中确立冗余。
| 评论： | 13 页，7 幅图，4 张表。代码：此 https URL（存档于 此 https URL） |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13543 [cs.LG] |
| （或 arXiv:2611.13543v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13543 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Basavaraj R M [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 04:06:26 UTC（241 KB）
来源：arXiv cs.CL · arxiv.org