arXiv cs.CL· Zhiqian Xia, Jielong Tang, Ling-An Zeng, Shixiong Kai, Rong Yao, Hao Kong, Xiao Dong, Wei Wang, Mingxuan Yuan, Siyu Xia, Haifeng Xia·· 12 小时前AI 评分32
Uni-Mem：用统一在线策略优化学习长程智能体记忆管理器
Uni-Mem: Learning a Long-Horizon Agentic Memory Manager with Unified Online Policy Optimization
AI 导读
Uni-Mem 提出端到端在线强化学习框架，让记忆构建与检索在共享策略下联合学习，并配套 Stage-Decoupled GRPO 交替优化两阶段、Event-Wise Credit Assignment（ECA）将反馈定位到具体事件。在 LoCoMo 和 LongMemEval 上，Uni-Mem 优于最强的基于 RL 的记忆方法。
正文 · AI 翻译
作者：Zhiqian Xia、Jielong Tang、Ling-An Zeng、Shixiong Kai、Rong Yao、Hao Kong、Xiao Dong、Wei Wang、Mingxuan Yuan、Siyu Xia、Haifeng Xia
摘要：长期智能体记忆正从预定义工作流转向可学习的记忆构建与检索策略。现有的基于学习的方法要么仅优化构建，要么将检索侧的在线强化学习（RL）与离线构建监督相结合，限制了这两个阶段之间的协同适应。在本文中，我们探索了针对统一记忆管理器（Uni-Mem）的端到端在线 RL，该管理器在共享策略下学习这两种能力。然而，使用 GRPO 等现有 RL 算法进行联合优化时，会面临混杂的组间比较以及长记忆管理轨迹上的稀疏反馈问题。为此，我们提出了阶段解耦 GRPO，它在构建与检索优化之间交替进行，同时控制每个 rollout 组内来自另一阶段的变化，从而产生阶段特定的学习信号。我们进一步引入了事件级信用分配（ECA），它将反馈定位到负责的事件，并将事件级优势传播到构成这些事件的操作。在 LoCoMo 和 LongMemEval 上的实验表明，Uni-Mem 优于最强的基于 RL 的记忆方法，证明了通过阶段解耦 GRPO 和 ECA 联合学习记忆构建与检索的有效性。
| 评论： | 21 页，8 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29671 [cs.CL] |
| （或 arXiv:2610.29671v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29671 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jielong Tang [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 12:48:10 UTC（961 KB）
来源：arXiv cs.CL · arxiv.org