arXiv cs.CL· Sahil Kale, Ian Harris·· 11 小时前AI 评分31
ConceptGuard：面向大语言模型上下文敏感遗忘的基准测试
ConceptGuard: Benchmarking Context-Sensitive Unlearning in Large Language Models
AI 导读
研究者构建了 ConceptGuard 基准，包含 68 个概念上的 2,583 对有害—良性配对，用于评估 LLM 在概念层面遗忘有害用法同时保留良性用法的能力。在四种遗忘方法和四个模型上的测试显示，现有技术虽能减少有害记忆，但存在明显的遗忘—效用权衡，上下文分离能力远低于仅保留参考基线。分离效果更多取决于概念和模型而非方法，数据集已公开。
正文 · AI 翻译
摘要：大型语言模型（LLM）通常需要选择性地移除有害或敏感知识，这被称为遗忘（unlearning），然而现有基准对该能力的评估并不完整。它们依赖互不相交的遗忘集与保留集，这些集合由彼此独立的事实构成，并以简单的事实回忆来衡量成功与否。这忽略了从安全角度看遗忘的一项关键要求，即在保留良性且有益知识的同时消除有害行为。我们认为，有效的遗忘必须在概念层面运作，在移除不安全用法的同时保持正确且有用的用法。为评估这一点，我们将双重用途概念（即可同时用于有害和良性语境的概念）付诸实践，并构建了 ConceptGuard，这是一个包含 68 个概念、2,583 个有害—良性对的基准，其中遗忘集与保留集在概念用法上被显式配对。评估对意图敏感，并以语境分离为核心，即衡量模型在抑制有害行为的同时，对同一概念的良性用法保留得如何。在四种遗忘方法和四个模型上，我们发现当前技术减少了有害记忆，但表现出强烈的遗忘—效用权衡和有限的语境分离，远低于仅保留的参照水平。分离趋势更多取决于概念和模型，而非方法。我们的结果指向需要更契合现实安全要求的遗忘方法。我们的数据集已公开可用。
| 评论： | 17 页，9 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.20338 [cs.CL] |
| （或 arXiv:2608.20338v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2608.20338 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Sahil Kale [查看邮箱]
[v1]
2026 年 8 月 20 日星期四 17:59:57 UTC（2,443 KB）
[v2]
2026 年 10 月 16 日星期五 06:37:29 UTC（2,634 KB）
来源：arXiv cs.CL · arxiv.org