arXiv cs.AI· Junwei Liao, Haoting Shi, Ruiwen Zhou, Jiaqian Wang, Shengtao Zhang, Wei Zhang, Ying Wen, Zhiyu Li, Feiyu Xiong, Bo Tang, Weinan Zhang, Muning Wen·· 3 天前AI 评分24
MemQ：将 Q-Learning 融入基于溯源 DAG 的自演化记忆智能体
MemQ: Integrating Q-Learning into Self-Evolving Memory Agents over Provenance DAGs
AI 导读
MemQ 将 TD(λ) 资格迹应用于记忆 Q 值，通过记录记忆创建时检索来源的溯源 DAG 反向传播信用，信用权重按 (γλ)^d 随 DAG 深度 d 衰减。
正文 · AI 翻译
作者：Junwei Liao、Haoting Shi、Ruiwen Zhou、Jiaqian Wang、Shengtao Zhang、Wei Zhang、Ying Wen、Zhiyu Li、Feiyu Xiong、Bo Tang、Weinan Zhang、Muning Wen
摘要：情节记忆使 LLM 智能体能够积累和检索经验，但当前方法将每条记忆独立对待，即在孤立状态下评估检索质量，而未考虑记忆之间通过依赖链使未来记忆得以创建的关联。我们提出 MemQ，它将 TD($\lambda$) 资格迹应用于记忆 Q 值，通过溯源 DAG 反向传播信用，该 DAG 记录了每条新记忆创建时检索了哪些记忆。信用权重随 DAG 深度 $d$ 以 $(\gamma\lambda)^d$ 衰减，用结构邻近性替代时间距离。我们将此设定形式化为外生上下文 MDP，将外部提供的任务与不断演化的记忆存储分离，并用逐记忆价值的一阶均值加上显式近似残差来表示检索集价值。在五个交互、代码生成和智能体基准上，MemQ 在平均留出、最终运行时和累积成功率上分别比各指标平均最高的基线提升了 2.53、4.23 和 2.13 个百分点。在 LiveCodeBench、BFCL 和 DSBench 上的消融实验支持了自举和多深度信用传播的益处。对 Q 值和运行时学习的分析表明，学习到的记忆价值与后续成功相关，且 MemQ 保留了更多历史任务覆盖。我们还使用多项选择推理任务探索了 MemQ 收益的局限，在这些任务中有限的交互提供了更少复用程序性经验的机会。代码可在 此 https URL 获取。
| 评论： | 32 页，13 幅图，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.08374 [cs.AI] |
| （或 arXiv:2605.08374v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.08374 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Junwei Liao [查看邮箱]
[v1]
2026 年 5 月 8 日星期五 18:30:24 UTC（9,355 KB）
[v2]
2026 年 5 月 12 日星期二 12:18:41 UTC（9,355 KB）
[v3]
2026 年 5 月 14 日星期四 08:13:01 UTC（9,355 KB）
[v4]
2026 年 10 月 12 日星期一 11:08:11 UTC（9,600 KB）
来源：arXiv cs.AI · arxiv.org