arXiv cs.CL· Jingkai Guo, Ziyi Zhao, Chaitali Chakrabarti, Deliang Fan·· 11 小时前AI 评分38
CoLU：面向大语言模型的置信度加权分层遗忘方法
CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models
AI 导读
研究者提出置信度加权分层遗忘方法 CoLU，只更新单个选定的 Transformer 层而非整个模型，并配合新的置信度加权遗忘与保留正则化。配套的 Brief Layer Screening（BLS）用归一化遗忘-保留（NFR）分数预筛层候选，将 CoLU 运行时间降低 60.2-79.7% 且性能几乎不变。
正文 · AI 翻译
摘要：大语言模型（LLM）遗忘旨在遗忘某些信息的同时保留其他信息，而无需从头重新训练。NPO、SimNPO 和 SatImp 等最先进方法通过全模型微调来平衡遗忘与保留，而 FOM-UL 则探索选择性层更新。已有研究表明，抑制目标信息可能会损害保留的知识。即使在相同的遗忘损失下，这种权衡在不同层之间也可能有所不同。在本工作中，我们提出置信度加权分层遗忘（CoLU），它将一种新颖的置信度加权遗忘与保留正则化相结合，同时只更新单个选定的 transformer 层，而不是为遗忘而更新整个模型。为降低 CoLU 的计算成本，我们进一步提出简要层筛选（BLS），它使用新定义的归一化遗忘-保留（NFR）分数，通过使用遗忘数据集子集和更少轮次的简要遗忘试验来先对层进行排序。BLS 预先选出排名前 k 的层候选，然后使用完整数据分析对其进行全面评估。经验证，BLS 可将 CoLU 的运行时间减少 60.2-79.7%，而性能几乎相同。在 TOFU 数据集上，CoLU 在所有六种 TOFU 设置中均优于 NPO、SatImp 和基于 GA 的 FOM-UL，并在六种设置中的五种中优于 SimNPO。在 MUSE Books 和 News 数据集上，CoLU 在所比较的最先进遗忘方法中实现了最高的保留 KnowMem 和最接近零的 PrivLeak。CoLU 在大多数设置中至今在遗忘和保留两方面均创下新的性能纪录。此外，在所测量的设置中，CoLU 的平均 GPU 内存使用量比全模型遗忘低 77.4% 至 79.5%。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22721 [cs.CL] |
| （或 arXiv:2610.22721v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22721 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingkai Guo [查看电子邮件]
[v1]
2026年10月15日星期四 22:51:35 UTC（117 KB）
来源：arXiv cs.CL · arxiv.org