arXiv cs.CL· Aryan Chowdhury, Riza Batista-Navarro·· 10 小时前AI 评分32
研究发现：剪枝冗余注意力头可抑制 GPT-2-XL 逐字记忆
Fewer Heads, Fewer Memories: Pruning Redundant Attention Heads Suppresses Verbatim Memorisation
AI 导读
在推理前将大量注意力头置零，可显著抑制大语言模型的逐字记忆行为。研究在 GPT-2-XL（1.5B）上剪枝 729 个任务冗余注意力头，记忆计数下降 91.5%，同时 WikiText-103 困惑度改善 0.92。该方法无需重新训练或修改训练数据，即可在推理阶段缓解记忆带来的隐私与版权风险。
正文 · AI 翻译
摘要：大型语言模型已被证明会逐字记忆并复现其训练数据中的序列，这引发了人们对隐私泄露、知识产权暴露以及泛化能力局限的担忧。近期的理论工作表明，注意力头可能通过充当联想记忆机制来促成这种行为，其记忆容量随注意力头数量的增加而扩展。与此同时，实证研究表明，许多注意力头是冗余的，剪枝后对下游性能的影响有限。尽管有这些并行发现，剪枝冗余注意力头对记忆序列复现的影响仍未被探索。在这项工作中，我们证明，在推理前将相当一部分注意力头置零，可以显著抑制逐字记忆，同时在用于识别冗余头的基准上保持甚至提升语言建模性能。在已知的记忆序列上评估 GPT-2-XL(1.5B)，我们发现剪枝 729 个任务冗余注意力头可将记忆计数降低 91.5%，同时将 WikiText-103 困惑度改善 0.92。这些发现表明，注意力头冗余可被用于在推理时缓解记忆，而无需重新训练或修改训练数据。
| 评论： | 7 页，5 张表，1 张图 |
| 主题： | 计算与语言 (cs.CL)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.40974 [cs.CL] |
| （或 arXiv:2610.40974v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40974 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Aryan Chowdhury [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 20:59:31 UTC（321 KB）
来源：arXiv cs.CL · arxiv.org