arXiv cs.AI· Sam Siavoshian, Omar Ramadan, Amir K. Saeed, Benjamin A. Johnson, Benjamin M. Rodriguez·· 3 天前AI 评分26
Engram Injection：参数化语言模型记忆的时间有效性研究
Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory
AI 导读
研究提出 Engram Injection，将事实存入 LoRA 适配器并通过 FiLM 条件注入时钟，基于冻结的 Qwen2.5-3B-Instruct 测试模型能否仅凭问题和当前时间回答事实更新。在 62 对更新前后问题上，两种适配器方法在盲审下均答对 0 对，而全历史提示答对 59/62、检索答对 62/62。结果表明适配器能存储事实，但结合事实选择与基于时间的版本选择仍未成功。
正文 · AI 翻译
摘要：当用户更改偏好或某个事件取代了先前的事件时，已存储的事实可能不再有效。我们研究语言模型能否在其参数中学习这些变化，并仅根据一个问题与当前时间给出正确答案。Engram Injection 将事实存储在 LoRA 适配器中，并通过在冻结的 Qwen2.5-3B-Instruct 模型上进行 FiLM 条件化来提供时钟。我们将其与加性时钟条件化、使用完整带日期历史的提示，以及检索四条带日期记录进行了比较。在修复了一个可能将测试年龄样本纳入训练的采样器后，我们跨三个随机种子训练了六个匹配的适配器。训练审计报告称，在 127,760 个被评估的训练输入中没有此类样本。在更新前后提出的 62 对问题上，在排除于训练的七天经过年龄下，在主要盲审助手评审中，且顺序代码 1 保持固定时，两种适配器方法正确回答的对数均为零。完整历史提示正确回答了 59/62 对，检索则正确回答了 62/62。单独实验表明，适配器可以存储事实，且可移除的记忆单元可以支持局部删除。将事实选择与基于时间的版本选择相结合仍然不成功。这些结果将学习一个事实与学习何时使用它区分开来。
| 评论： | 18 页，4 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15882 [cs.AI] |
| （或 arXiv:2610.15882v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15882 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Omar Ramadan [查看电子邮件]
[v1]
2026年10月11日星期日 19:58:10 UTC（491 KB）
来源：arXiv cs.AI · arxiv.org