研究者发布概念级遗忘基准ConceptGuard

Sahil Kale 与 Ian Harris 构建了 ConceptGuard 基准，用于评估大语言模型能否在概念层面遗忘有害用法、同时保留同一概念的良性用法。该基准覆盖 68 个概念，包含 2,583 对有害—良性配对，遗忘集与保留集按概念用法显式配对，数据集已公开。 在四种遗忘方法和四个模型上的测试显示，现有技术虽能减少有害记忆，但存在明显的遗忘—效用权衡，上下文分离能力远低于仅保留参考基线；分离效果更多取决于概念和模型，而非所用方法。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。