arXiv cs.CL· Jiangcheng Song, Haodong Jing, Yulin Mu, Lesong Tao, Jixin Wang, Jin Cui, Tianjing Ren, Runxuan Xie, Yongqiang Ma, Nanning Zheng·· 3 天前AI 评分29
MemDuet：为长上下文推理学习双过程记忆
MemDuet: Learning Dual-Process Memory for Long-Context Reasoning
AI 导读
MemDuet 是一个双过程记忆框架，用小型语言模型做快速并行证据筛选（System 1），用大语言模型按文档顺序做记忆更新验证与重写（System 2），分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上，其端到端推理速度较 RL-MemAgent 平均提升 9.74 倍，输出 token 减少 73.91%。
正文 · AI 翻译
摘要：借助循环记忆智能体，对无限长文档进行推理正成为现实。然而，增加上下文长度会加剧推理性能与推理效率之间的权衡。受 Kahneman 关于快思考与慢思考的论述启发，我们提出 MemDuet，一种双过程记忆框架，它学习协调一个小型语言模型，从原始上下文块中快速并行地选择证据（系统 1），以及一个大型语言模型，按文档顺序进行记忆更新验证与记忆更新（系统 2）。我们分三个阶段训练 MemDuet：对系统 1 进行证据选择的监督微调，对系统 2 进行验证与记忆重写的组相对策略优化（GRPO），以及对两个策略进行联合优化，以协调长上下文推理中的选择与更新。在多个长上下文推理基准（RULER-HQA、LongBench v2 和 2WikiMultiHopQA）上的实验表明，随着上下文长度增长，该方法实现了有利的精度-效率权衡。在三个数据集的评估设置上平均而言，与 RL-MemAgent 相比，MemDuet 实现了 9.74 倍的端到端推理加速，并将输出 token 减少了 73.91%。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19928 [cs.CL] |
| （或 arXiv:2610.19928v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19928 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiangcheng Song [查看邮箱]
[v1]
2026年10月14日星期三 10:16:13 UTC（576 KB）
来源：arXiv cs.CL · arxiv.org