arXiv cs.AI· Bingbing Wang, Jingjie Lin, Weiming Qiao, Jing Li, Ruifeng Xu·· 2 天前AI 评分31
All-in-One Memory：面向记忆智能体的过程奖励强化学习
All-in-One Memory: Process-Rewarded Reinforcement Learning for Memory Agents
AI 导读
研究者提出 All-in-One Memory（AiO-Mem），将检索、记忆写入与停止决策统一到共享证据状态和统一奖励空间，用过程奖励模型为完整交互轨迹打分，并通过 Process-Aligned DAPO（PA-DAPO）优化记忆策略。该方法把异构历史编译为可溯源的多视图事件，在长上下文记忆基准上持续提升答案准确率，优于静态记忆系统和 RL 训练的记忆智能体。
正文 · AI 翻译
摘要：大型语言模型越来越依赖外部记忆来回答基于长时程历史（如多会话对话和长篇文档）的查询。然而，现有的记忆方法通常将检索和记忆构建分开优化，缺乏用于评估搜索、写入和停止决策的共享奖励空间。为解决这一问题，我们提出了 All-in-One Memory（AiO-Mem），它将上述操作组织为在共享证据状态上的转移，并在统一的奖励空间中直接评估每个动作的语义质量。AiO-Mem 将异构历史编译为可溯源的多视图事件，为检索和记忆写入提供共享基础。随后，一个统一的记忆策略 actor 在该共享证据状态上展开完整的交互轨迹。一个独立的、以轨迹为条件的过程奖励模型通过基于证据的监督微调和轨迹级 DPO 进行训练，为收集到的轨迹分配过程分数。这些分数被聚合为动作平衡的轨迹奖励，并由 Process-Aligned DAPO（PA-DAPO）用于优化记忆策略。在长上下文记忆基准上，AiO-Mem 相比静态记忆系统和经 RL 训练的记忆智能体，均持续提升了答案准确率。
| 评论： | 9 页，5 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21147 [cs.AI] |
| （或 arXiv:2610.21147v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21147 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jingjie Lin [查看邮箱]
[v1]
2026年10月15日星期四 03:02:24 UTC（6,629 KB）
来源：arXiv cs.AI · arxiv.org