arXiv cs.CL· Hongru Cai, Ran Wei, Wenjie Wang, Chengfa Wu, Ning Song, Yongqi Li, Wenjie Li·· 10 天前AI 评分27
EngramEdit：通过条件记忆实现 LLM 解耦式知识更新
EngramEdit: Decoupled Knowledge Updates in LLMs through Conditional Memory
AI 导读
EngramEdit 通过条件记忆架构实现 LLM 的解耦式知识更新，在保持 Transformer 主干固定的前提下完成事实知识编辑，达到近乎完美的编辑成功率。修订后的知识可泛化至未见表达和多跳推理，在 CoT 提示下准确率约为最强基线的三倍，且不相关知识与其他通用能力基本不受影响。
正文 · AI 翻译
摘要：诸如 DeepSeek Engram 之类的条件记忆架构利用输入 n-gram 来查找学习到的嵌入，以有限的额外计算扩展大语言模型（LLM）的容量。除了模型扩展之外，该架构还展现出将事实知识存储与通用计算解耦的潜力，为在保持 Transformer 主干固定的同时更新事实知识提供了一条有前景的途径。实现这一潜力颇具挑战，因为同一事实的不同表达可能激活不同的 n-gram 嵌入，而更新共享嵌入可能会无意中改变模型对其他事实的预测。我们提出 EngramEdit，通过条件记忆实现解耦的知识更新。EngramEdit 首先计算目标记忆表示，使模型在多种表达下预测更新后的事实。然后，它联合更新共享的 n-gram 嵌入，使其在多种表达和编辑中匹配这些目标，并对频繁复用的嵌入的更新施加更强的惩罚，以保留无关知识。实验表明，EngramEdit 能够通过条件记忆实现独立的事实知识更新，达到近乎完美的编辑成功率。修订后的知识可用于未见过的表达和多跳推理，在思维链（CoT）提示下准确率接近最强基线的三倍。即使事实更新不断累积，无关知识和通用能力也基本得以保留。这些发现表明，EngramEdit 将条件记忆转变为可编辑的知识接口，将其作用从模型扩展扩展到支持解耦的知识更新。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10533 [cs.CL] |
| （或 arXiv:2610.10533v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10533 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hongru Cai [查看邮箱]
[v1]
2026年10月7日星期三 17:58:52 UTC（726 KB）
来源：arXiv cs.CL · arxiv.org