跳到正文
arXiv cs.AI· Fanyu Zhao, Ruike Cao, Liang Dong, Fugen Yao, Jian Xu, Guanjun Jiang, Yifei Zhao, Yinsheng Li, Han Zhang·· 4 小时前AI 评分38

RPMem:为 LLM 智能体学习跨会话的长期循环参数化记忆

RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents

AI 导读

RPMem 是一个两阶段架构,将每次会话通过前向计算编译为与模型无关的潜在记忆,再用任务训练的循环门控选择性整合,最终映射为骨干模型专属的 LoRA 参数,使记忆在更换骨干后仍可复用。在 Qwen3-8B 上于 PERMA 基准达到 85.52%,分别超出最强参数化基线和文本基线 5.32 与 12.98 个百分点,并在三个长期记忆基准、五种骨干上验证了近恒定的更新成本与内存占用。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:长时间运行的 LLM 智能体需要能够在多个会话之间持续存在并演进的记忆。基于文本的记忆在每次查询时检索并重建过去的交互,随着历史记录增长,长程性能越来越依赖于检索质量和上下文推理。参数化记忆将经验直接编码到模型计算中,但现有方法对跨会话记忆演进的支持有限。它们与特定骨干模型的耦合进一步限制了模型替换后的记忆复用。我们提出 RPMem,一种两阶段架构,通过前向计算将每个会话编译为与模型无关的潜在记忆,并通过任务训练的循环门控将其与保留的记忆选择性整合。整合后的记忆随后被映射为骨干模型特定的低秩适应(LoRA)参数,使编码能力在骨干模型被替换时仍可迁移。在三个长期记忆基准和五个多样化骨干模型上的评估展示了广泛的泛化能力,且更新成本和内存占用几乎恒定。在 PERMA 上使用 Qwen3-8B 时,RPMem 达到 85.52%,分别比最强的参数化基线和基于文本的基线高出 5.32 和 12.98 个百分点。消融实验验证了会话编译和跨会话整合的互补作用,而动态分析揭示该门控习得了任务特定的记忆整合策略。这些结果确立了 RPMem 作为一个生命周期无关的参数化记忆框架,能够维护不断演进的跨会话记忆,并在骨干模型替换后仍可复用。我们的代码可在 此 https URL 获取。
评论: 45 页,7 幅图。代码:此 https URL
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2609.23466 [cs.CL]
  (或 arXiv:2609.23466v3 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.23466

arXiv 颁发的 DOI 经由 DataCite

提交历史

来自:Fanyu Zhao [查看邮箱]
[v1] 2026年9月20日 星期日 08:51:10 UTC(1,434 KB)
[v2] 2026年9月22日 星期二 10:17:56 UTC(1,388 KB)
[v3] 2026年11月17日 星期二 07:22:20 UTC(1,427 KB)

来源:arXiv cs.AI · arxiv.org