arXiv cs.AI· Arman Behnam, Binghui Wang·· 9 天前AI 评分28
因果记忆策略 CMP：通过干预检索让记忆效用可识别
Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval
AI 导读
针对记忆增强大语言模型仅凭已检索记忆估计效用、导致未被检索记忆效用无法识别的问题，研究者提出因果框架 Causal Memory Policy（CMP），通过干预检索本身、预留固定上下文槽位并采用自归一化逆倾向加权来估计记忆效用。
正文 · AI 翻译
摘要：记忆增强型大语言模型必须决定保留哪些记忆，而近期系统通过估计每个记忆对任务性能的影响来做出这一决定。然而，这些估计完全依赖于被检索到的记忆。当一个记忆从未被检索时，存储层面的干预会产生相同的结果，使其效用无法被识别。这是一种检索层面的阳性违背，对于仅检查记忆操作的诊断方法而言是不可见的。我们提出因果记忆策略（Causal Memory Policy，CMP），这是一个因果框架，通过对检索本身进行干预来恢复可识别性，为以已知倾向性采样的记忆保留固定数量的上下文槽位。CMP 在平衡分配设计下通过自归一化逆倾向加权来估计记忆效用。我们证明了记忆效用通过检索的因果分解、估计量的无偏性和精确方差，以及不可逆操作下的最优决策规则。在实证上，在 LongMemEval 上有 54% 的所需记忆、在 LoCoMo 上有 67% 的所需记忆无法被识别，且这种失败在一个已部署的记忆系统中持续存在。CMP 将所需记忆与非所需记忆之间的区分度从 0.54 AUC 提升至 0.66 AUC。最后，我们表明仅凭已识别的记忆效用不足以做出保留决策：逐查询效用在被估计的查询上达到 0.78 AUC，但保留策略可用的任何聚合方式都无法预测一个记忆在未见查询上的价值。代码见：this https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.02070 [cs.AI] |
| （或 arXiv:2610.02070v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02070 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Arman Behnam [查看电子邮件]
[v1]
2026年10月1日星期四 17:11:25 UTC（131 KB）
[v2]
2026年10月2日星期五 15:55:32 UTC（131 KB）
[v3]
2026年10月8日星期四 14:30:55 UTC（131 KB）
来源：arXiv cs.AI · arxiv.org