arXiv cs.CL· Hiroaki Yamagiwa, Yusuke Takase, Hidetoshi Shimodaira·· 11 小时前AI 评分18
用投影核测量注意力头权重子空间之间的亲和度
Measuring Affinity between Attention-Head Weight Subspaces via the Projection Kernel
AI 导读
研究提出用基于主夹角的投影核（PK）量化注意力头权重矩阵所张成子空间之间的相似度，在 GPT2-small、BLOOM-560M 和 Qwen2-0.5B-Instruct 上，PK 比 Composition Score 等既有指标更清晰地复现了 IOI 任务中已知的头间交互。
正文 · AI 翻译
摘要：理解注意力头之间的关系对于解读 Transformer 的内部结构至关重要，然而现有指标并不能很好地刻画这种结构。我们聚焦于注意力头权重矩阵所张成的子空间，并使用投影核（Projection Kernel，PK）——一种基于主角度（principal angle）的子空间相似度度量——来量化头与头之间的关系。在 GPT2-small、BLOOM-560M 和 Qwen2-0.5B-Instruct 上的实验表明，PK 比 Composition Score 等先前指标更清晰地复现了 IOI 任务上已知的头间交互。我们进一步引入一个框架，通过将 PK 分布与由随机正交子空间导出的参考分布进行比较，来量化 PK 分布的信息量。作为应用，我们分析了由 PK 构建的有向图，并表明在 GPT2-small 中，L4H7 通过充当 Identity Head 而起到枢纽作用。
| 评论： | EMNLP 2026 主会。附录采用单栏排版 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.10266 [cs.CL] |
| （或 arXiv:2601.10266v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2601.10266 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Hiroaki Yamagiwa [查看邮箱]
[v1]
2026年1月15日 星期四 10:37:55 UTC（3,127 KB）
[v2]
2026年11月2日 星期一 09:21:23 UTC（7,882 KB）
来源：arXiv cs.CL · arxiv.org