arXiv cs.CL· Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji·· 3 天前AI 评分27
冻结记忆还不够：重新思考外部记忆作为提取方式
Frozen Memory Is Not Enough: Rethinking External Memory as Extraction
AI 导读
研究通过跨模型冻结记忆提取发现，在源模型上训练的记忆冻结后迁移到不同目标模型时，记忆内容与正确寻址都重要，但迁移后的记忆表只有通过对齐目标模型的 reader 才能发挥作用。
正文 · AI 翻译
摘要：提升大语言模型中知识利用的方法通常分为两类。非参数化检索提供了对外部知识的灵活访问，但增加了检索延迟、上下文开销，且与主干模型的集成较为浅层。参数化适配在推理时高效，但将知识与模型权重纠缠在一起，难以更新、审计或迁移。Engram 式哈希记忆处于中间形态：它将学习到的信息存储在外部可寻址表中，但通过一个小型学习读取器来消费该表。这引出一个基本问题：当这种记忆跨主干模型迁移时，更重要的是冻结的记忆本身，还是目标侧的读取器？我们通过跨模型冻结记忆提取来研究这一问题，即将在源模型上训练的记忆冻结并附加到不同的目标模型上，仅训练一个轻量级读取器。消融实验表明，学习到的记忆内容和正确的寻址都很重要，但迁移的表只有通过与目标模型对齐的读取器才能发挥作用。在下游问答任务中，双层四分支读取器几乎弥合了同模型复用与跨模型复用之间的差距，在我们的受控评估协议下平均得分为 38.8。此外，当提供方读取器与目标接口直接兼容时，冻结产物无需目标侧训练即可提供显著效用，而可选的读取器适配可带来进一步提升。这些结果表明，Engram 可以作为可复用的外部知识产物，前提是目标能够访问兼容的读取器接口；当直接复用读取器不足时，目标侧适配可进一步改善对齐。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.17050 [cs.CL] |
| （或 arXiv:2608.17050v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.17050 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Mingyuan Li [查看邮箱]
[v1]
2026年8月17日星期一 18:54:42 UTC（568 KB）
[v2]
2026年8月19日星期三 07:30:09 UTC（568 KB）
[v3]
2026年9月30日星期三 07:57:51 UTC（565 KB）
[v4]
2026年10月13日星期二 18:08:29 UTC（1,035 KB）
来源：arXiv cs.CL · arxiv.org