跳到正文
arXiv cs.AI· Eric Hanchen Jiang, Zhi Zhang, Yuchen Wu, Levina Li, Dong Liu, Xiao Liang, Rui Sun, Yubei Li, Edward Sun, Haozheng Luo, Zhaolu Kang, Aylin Caliskan, Kai-Wei Chang, Ying Nian Wu·· 3 天前AI 评分34

MemCon:为 LLM 智能体学习自适应记忆管理

Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents

AI 导读

研究者提出 MemCon 框架,将 LLM 智能体的记忆操作建模为马尔可夫决策过程,在线学习策略自适应决定何时检索、注入蒸馏计划以及整合或遗忘记忆。该框架与后端无关,可包裹任意现有记忆实现,无需预训练和额外 LLM 调用,采用带 UCB 探索的轻量级表格上下文赌博机,在数十个任务内收敛。

正文 · AI 翻译

作者:Eric Hanchen Jiang、Zhi Zhang、Yuchen Wu、Levina Li、Dong Liu、Xiao Liang、Rui Sun、Yubei Li、Edward Sun、Haozheng Luo、Zhaolu Kang、Aylin Caliskan、Kai-Wei Chang、Ying Nian Wu

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)智能体日益依赖外部记忆系统来跨任务积累经验。然而,从图结构记忆到反思性洞见存储,几乎所有现有方法都通过固定的、手工设计的启发式规则来访问记忆。我们认为,这种静态的记忆观是智能体学习的核心瓶颈,因为最优的记忆行为本质上是依赖于上下文的。任务早期阶段因记忆稀疏而受益于最小化检索;重复出现的目标类型受益于计划复用而非通用的最近邻查找;陷入困境的智能体受益于用替代查询重新检索;而在长任务流中,记忆存储本身必须被整合和修剪以保持有用。我们提出 Memory as a Controlled Process(MemCon),一个将记忆操作建模为马尔可夫决策过程的框架,学习一个在线策略,自适应地决定何时、检索什么以及检索多少、何时注入提炼后的计划,以及何时整合或遗忘。MemCon 与后端无关:它可包装任何现有记忆实现,从逐任务的二元反馈中学习,无需预训练,也无需额外的 LLM 调用,并使用带有 UCB 探索的轻量级表格型上下文赌博机,在数十个任务内即可收敛。在 6 个基准、3 个智能体框架和 3 个 LLM 主干上,MemCon 在任务成功率上持续优于多个记忆基线,最高提升 15.2 个百分点,同时将 token 消耗降低 5--20%。
评论: 无
学科: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2607.13591 [cs.CL]
  (或本版本使用 arXiv:2607.13591v3 [cs.CL])
  https://doi.org/10.48550/arXiv.2607.13591

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Eric Jiang [查看邮箱]
[v1] 2026年7月15日星期三 08:32:40 UTC(1,235 KB)
[v2] 2026年10月5日星期一 08:49:02 UTC(1,601 KB)
[v3] 2026年10月12日星期一 18:07:30 UTC(1,584 KB)

来源:arXiv cs.AI · arxiv.org