arXiv cs.AI· Jialu Wang, Jianing Deng, Shuqing Luo, Yuanzhe Li, Dongwei Wang, Jingtong Hu, Huanrui Yang, Song Wang, Tianlong Chen·· 3 天前AI 评分24
从保留-遗忘损失景观交互看量化鲁棒的 LLM 遗忘学习
Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction
AI 导读
研究者提出一种量化鲁棒的 LLM 遗忘框架，通过损失景观分析发现基于曲率的判据可定位导致遗忘不鲁棒且效用下降的敏感权重，并据此提出敏感度引导的噪声正则化与仅更新遗忘关键层的遗忘关键优化。在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘算法实验显示，该方法在保持模型效用的同时实现了更强的抗量化遗忘效果。
正文 · AI 翻译
摘要：遗忘学习通过消除私有或受版权保护的训练数据的影响来确保 LLM 合规。然而，由于 LLM 模型在实际部署中通常会经历训练后压缩（如量化），已观察到遗忘效果可能被大幅削弱，且遗忘行为的退化比模型效用更为严重。本文提出了一种量化鲁棒的遗忘学习框架，使遗忘对量化具有鲁棒性，同时保持整体模型效用。我们通过损失景观的视角分析了这一差距。具体而言，我们的分析揭示了一种基于曲率的标准，能够精确定位遗忘后模型中导致非鲁棒遗忘和效用降低的敏感权重。因此，我们提出了敏感度引导的噪声正则化，将其应用于敏感参数，以引导模型收敛到遗忘损失和保留损失均较低的更平滑极小值。为了平衡遗忘学习和效用，我们进一步提出了遗忘关键优化，仅更新遗忘关键层，保留网络的大部分以保留有用知识。在 MUSE 和 TOFU 基准上跨多种 LLM 遗忘学习算法的大量实验表明，我们的方法在保持效用的同时实现了显著更具量化弹性的遗忘。代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.27355 [cs.LG] |
| （或 arXiv:2609.27355v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.27355 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jialu Wang [查看邮箱]
[v1]
2026年9月23日星期三 04:55:09 UTC（1,546 KB）
[v2]
2026年10月10日星期六 13:11:52 UTC（1,546 KB）
来源：arXiv cs.AI · arxiv.org