arXiv cs.AI· Aashiq Muhamed, Jacopo Bonato, Mona Diab, Virginia Smith·· 3 天前AI 评分27
SAEs 能否改进 LLM 遗忘：动态稀疏自编码器护栏实现精准遗忘
SAEs Can Improve Unlearning: Dynamic Sparse Autoencoder Guardrails for Precision Unlearning in LLMs
AI 导读
研究提出 Dynamic DAE Guardrails（DSG），一种利用原则性特征选择与动态分类器的精准遗忘方法，证明稀疏自编码器（SAEs）在动态使用时能显著提升 LLM 遗忘效果，打破此前 SAEs 不如梯度方法的结论。DSG 在遗忘-效用权衡上优于主流方法，并提升计算效率与稳定性、支持序列遗忘、抵抗重学习攻击、改善数据效率（含零样本）且更具可解释性。
正文 · AI 翻译
摘要：机器遗忘是一种通过从模型中移除不需要的知识来提升 LLM 安全性的有前景的方法。然而，主流的基于梯度的遗忘方法存在计算成本高、超参数不稳定、顺序遗忘能力差、易受重新学习攻击、数据效率低以及缺乏可解释性等问题。虽然稀疏自编码器非常适合通过实现基于目标激活的遗忘来改善这些方面，但先前的方法表现不如基于梯度的方法。这项工作表明，与这些早期发现相反，当动态使用时，SAE 可以显著改善遗忘。我们引入了 $\textbf{Dynamic DAE Guardrails}$（DSG），这是一种利用有原则的特征选择和动态分类器进行精确遗忘的新方法。我们的实验表明，DSG 大幅优于领先的遗忘方法，实现了更优的遗忘-效用权衡。DSG 解决了基于梯度的遗忘方法的关键缺陷——提供了更高的计算效率和稳定性、在顺序遗忘中稳健的性能、对重新学习攻击更强的抵抗力、更好的数据效率（包括零样本设置），以及更可解释的遗忘。
| 评论： | COLM 2025 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2504.08192 [cs.LG] |
| （或 arXiv:2504.08192v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2504.08192 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Aashiq Muhamed [查看电子邮件]
[v1]
2025年4月11日星期五 01:24:03 UTC（1,413 KB）
[v2]
2026年9月7日星期一 03:32:59 UTC（1,409 KB）
[v3]
2026年10月10日星期六 00:07:02 UTC（1,406 KB）
来源：arXiv cs.AI · arxiv.org