arXiv cs.CL· William Timkey, Tal Linzen·· 3 天前AI 评分22
句法注意力头是否影响模型行为？
Do Syntax Heads Influence Model Behavior?
AI 导读
研究发现，即便强制 Transformer 语言模型中专门处理句法关系的注意力头去关注干扰名词，模型的句法预测仍更符合主语而非干扰项。对句法专用头的干预在两项指标中仅有一项显著强于随机头干预，说明这些头对模型句法预测的因果作用证据有限。
正文 · AI 翻译
摘要：Transformer 语言模型会发展出专门处理句法关系的注意力头，例如从动词指向其主语。这些头在模型的句法预测中是否起因果作用？支持这种作用的证据从混杂到否定不一：即使我们强制这些头关注除主语以外的干扰名词，模型的句法预测仍然与主语更一致，而非与干扰名词更一致。对专门句法头的干预对句法预测的影响显著强于对随机头的干预，但仅在我们提出的两项指标中的一项上如此。
| 评论： | 4 页，2 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19231 [cs.CL] |
| （或 arXiv:2610.19231v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19231 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：William Timkey [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 21:47:26 UTC（116 KB）
来源：arXiv cs.CL · arxiv.org