arXiv cs.AI· Ruxi Gu, Zhenliang Zhang, Zilei Wang, Wei Wang·· 3 天前AI 评分31
ForgetBench：评测大语言模型长期参数记忆的遗忘动态
ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
AI 导读
研究者提出 ForgetBench，用于衡量 LLM 在持续知识编辑下长期参数记忆的遗忘动态，包含概念型 QA 与场景型 QA 两种评测范式，并构建按时间排序的知识流进行多阶段编辑评估。该框架以后续编辑次数索引记忆年龄，量化时间衰减、保留强度与跨实例稳定性。实验显示不同模型与编辑方法呈现各异的遗忘轨迹，长期保留与泛化质量之间存在持续张力。
正文 · AI 翻译
摘要：大型语言模型（LLM）在知识获取与推理方面已展现出强大能力，但其在反复更新下保留既有知识的能力仍未被充分理解。现有评估范式主要关注单步推理或静态知识编辑，无法刻画模型在持续修改过程中知识保留与退化的时间动态。在本工作中，我们提出 \textbf{ForgetBench}，一个用于衡量 LLM 在持续知识编辑下长期参数记忆中遗忘动态的基准。ForgetBench 引入两种互补的评估范式，即基于概念的问答和基于场景的问答，以探查孤立事实与结构化关系知识的保留情况。基于顺序编辑框架，我们构建按时间排序的知识流，并在多个编辑阶段评估模型行为。为量化这些动态，我们提出一个统一评估框架，以后续编辑次数来索引记忆年龄，并测量时间衰减、保留强度和跨实例稳定性。跨多种模型和编辑方法的大量实验揭示了不同的遗忘轨迹，以及长期保留与泛化质量之间反复出现的张力。我们的发现凸显了未来 LLM 需要更稳健的记忆机制，以随时间有效获取、更新和保存知识。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.26455 [cs.CL] |
| （或 arXiv:2607.26455v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.26455 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruxi Gu [查看邮箱]
[v1]
2026年7月29日星期三 04:11:30 UTC（252 KB）
[v2]
2026年10月10日星期六 11:14:40 UTC（499 KB）
来源：arXiv cs.AI · arxiv.org