arXiv cs.AI· Yixuan Xie, Xueqiang Xu, Xinyi Fan, Xinxi Lyu, Tao Feng, Xing Fan, Chenlei Guo, Jie Hao, Shaowen Wang, Jiashuo Sun, Jiawei Han·· 2 天前AI 评分37
MemComposer：用强化学习为 LLM 智能体组装记忆
MemComposer: Learning to Assemble Memories for LLM Agents via Reinforcement Learning
AI 导读
MemComposer 通过联合考察当前查询与检索候选，决定纳入哪些经验、选多少条以及如何排序，并用基于 GRPO 的 Experience Policy Optimization（ExPO）以完整智能体交互的任务成功反馈训练组装策略。
正文 · AI 翻译
作者：Yixuan Xie、Xueqiang Xu、Xinyi Fan、Xinxi Lyu、Tao Feng、Xing Fan、Chenlei Guo、Jie Hao、Shaowen Wang、Jiashuo Sun、Jiawei Han
摘要：智能体记忆使大语言模型（LLM）智能体能够复用过往经验而无需更新其参数。然而，仅凭语义相似度并不能保证记忆的有用性：下游性能取决于记忆如何被选择并呈现给智能体。我们提出 MemComposer，一种记忆组合器，它联合考察当前查询与检索到的候选记忆，以决定纳入哪些经验、选择多少条以及如何排序。我们使用 Experience Policy Optimization（ExPO）训练该组合器，这是一个基于 GRPO 的框架，通过完整的智能体交互评估组装后的记忆上下文，并利用任务成功反馈来优化组装策略。在两个冻结执行器上的三个 $\tau^2$-bench 领域中，MemComposer 对每个执行器均优于最强基线，同时将平均记忆 token 使用量分别降低 16.9% 和 4.9%。所学策略还可迁移至未见过的领域、执行器和记忆库，并能受益于由更强模型生成的记忆而无需进一步训练。这些结果证明了利用下游任务反馈学习查询特定记忆组装的价值。
| 评论： | 30 页，8 幅图，14 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.21091 [cs.AI] |
| （或 arXiv:2610.21091v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21091 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xueqiang Xu [查看邮箱]
[v1]
2026年10月15日星期四 01:47:06 UTC（468 KB）
来源：arXiv cs.AI · arxiv.org