arXiv cs.CL· Jipeng Li, Pramod Khargonekar, Yanning Shen·· 11 小时前AI 评分31
通过受控符号输入因果定位 Transformer 中的证据效应
Causal Localization of Evidence Effects in Transformers
AI 导读
研究提出受控证据聚合（CEA）与平衡效用因果选择（BUC），通过改变提示中两个符号的计数与顺序，定位影响 Transformer 决策的注意力头。在 Pythia-410M 中，按四种顺序条件各选出的 1-12 个注意力头被消融后，可消除 65.5-91.6% 的计数效应。
正文 · AI 翻译
摘要：受控的符号输入能否揭示那些根据自然语言证据影响语言模型决策的注意力头？我们引入了受控证据聚合（CEA），它在其他方面固定的提示中改变两个符号的计数和顺序，并测量冻结 Transformer 在两个答案 token 之间偏好的变化。该偏好通过它们的 logit 差值来衡量；提示并未规定正确答案。平衡效用因果选择（BUC）通过联合评估消融其输出能在多大程度上消除计数效应，以及在两个方向上在计数条件之间修补平均输出能在多大程度上恢复该效应，来识别紧凑的注意力头集合。我们推导了将注意力头归因与干预效应联系起来的条件界限，并明确了何时可以从有限样本中恢复归因候选名单。在 Pythia-410M 中，针对四种排序机制分别选择的 1-12 个注意力头集合的消融消除了 65.5-91.6% 的计数效应。这些集合对未用于选择的计数比较仍保持其影响。为了测试超越符号输入的相关性，我们评估了一个自然语言任务，询问哪个状态得到更多报告的支持。仅基于符号是/否提示选择的八个注意力头的消融使平均准确率降低 8.2 个百分点，而按大小和层匹配的随机集合仅降低 0.8。我们的结果表明，受控符号探针可以识别紧凑的注意力头集合，其因果影响延伸到自然语言决策。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36524 [cs.CL] |
| （或 arXiv:2610.36524v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36524 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jipeng Li [查看电子邮件]
[v1]
2026年10月27日星期二 02:27:36 UTC（288 KB）
来源：arXiv cs.CL · arxiv.org