arXiv cs.CL· Nabeelah Faumi, Deshan Sumanathilaka·· 12 小时前AI 评分31
Transformer 语言模型权重剪枝的机制性失效模式
Mechanistic Failure Modes of Weight Pruning in Transformer Language Models
AI 导读
一项针对 GPT-2 的因子剪枝实验发现，权重剪枝存在两种性质不同的失效模式：按重要性剪除注意力头（稀疏度 ≥ 某阈值）会直接移除面向输出的电路头，使模型准确率跌至接近随机；而按重要性剪除 30% 的 MLP 神经元则让全部 26 个电路头保持完整，但 Name Mover 贡献符号翻转，模型系统性偏好错误名字，准确率仅 17.7%。
正文 · AI 翻译
摘要：剪枝语言模型的评判几乎完全依据准确率和困惑度，这假定保留的输出行为意味着保留的内部计算。我们通过在 GPT-2 上进行析因剪枝研究来检验这一假设，交叉两个重要性标准（幅度、随机）、两种组件类型（注意力头、MLP 神经元）和三个稀疏度水平（3%、50%、70%）。使用已充分表征的间接宾语识别（IOI）电路作为基准，我们通过激活修补、路径修补和直接 logit 归因来测量电路完整性。我们发现两种性质不同的失效模式。幅度头剪枝 >= 将电路归零：面向输出的头被移除，模型降至接近随机水平。30% 的幅度神经元剪枝将其反转：所有 26 个电路头保持完整，但 Name Mover 贡献符号翻转，模型系统性地偏好错误的名字（17.7% 准确率）。困惑度将其排名为比随机头剪枝受损更轻（74.6 对 140.1）。对 Greater-Than 电路的复现表明，关键组件类型取决于电路的架构。这些结果表明，输出指标和结构检查都可能遗漏机制性损伤，从而推动电路级因果分析作为压缩语言模型的补充评估。
| 评论： | 12 页，10 张表格 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37126 [cs.LG] |
| （或 arXiv:2610.37126v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.37126 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Deshan Sumanathilaka Mr [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 12:25:27 UTC（44 KB）
来源：arXiv cs.CL · arxiv.org