arXiv cs.CL· Jiangze Yan, Yi Shen, Wenjing Zhang, Jieyun Huang, Ping Chen, Zhaoxiang Liu, Ning Wang, Kai Wang, Shiguo Lian·· 3 天前AI 评分23
HiMPO：面向长时程智能体的后见之明记忆策略优化，降低信用纠缠
HiMPO: Hindsight-Informed Memory Policy Optimization for Less-Entangled Credit in Long-Horizon Agents
AI 导读
研究者提出 HiMPO，一种后见之明记忆策略优化框架，在轨迹级强化学习之外为记忆写入单独分配信用：每次更新时固定其余写入前上下文，比较目标答案在旧、新记忆下的对数似然，并用基于组相对后见相关性的软门控加权局部效用优势。在 Local Wiki Search 上，其平均 F1 与精确匹配较 MemPO 分别提升 2.6 和 2.2 个百分点，同时保持压缩上下文效率。
正文 · AI 翻译
摘要：长时程智能体将交互历史压缩为记忆，但最终结果会将记忆写入的功劳与工具故障和推理错误纠缠在一起。我们提出 HiMPO，一种事后视角启发的记忆策略优化框架，它在轨迹级强化学习之外补充了记忆专属的功劳分配。每次更新时，HiMPO 在保持其余写入前上下文不变的情况下，比较目标答案在更新前和更新后记忆下的对数似然。随后，一个基于组相对事后相关性的软门控对局部效用优势进行加权。轨迹级功劳适用于所有生成的 token；记忆 token 额外获得辅助优势。在基于评判的开放域任务和客观压缩记忆问答中，HiMPO 在保持压缩上下文效率的同时提升了任务性能。在 Local Wiki Search 上，其平均 F1 和精确匹配分别比 MemPO 提高了 2.6 和 2.2 个百分点。受控干预和实时记忆回退研究提供了证据，表明减少了责任泄漏，并且记忆功劳与行为效果之间保持一致。在策略固定的情况下，功劳估计器对所测试的各类目标噪声保持稳健。
| 评论： | 预印本。2 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.16285 [cs.CL] |
| （或使用 arXiv:2606.16285v3 [cs.CL] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2606.16285 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiangze Yan [查看电子邮件]
[v1]
2026年6月15日星期一 06:49:18 UTC（2,897 KB）
[v2]
2026年9月1日星期二 03:33:12 UTC（489 KB）
[v3]
2026年10月14日星期三 01:37:07 UTC（493 KB）
来源：arXiv cs.CL · arxiv.org