arXiv cs.CL· Yunfan Zhang, Taehoon Hwang, Kathleen McKeown, Smaranda Muresan·· 10 小时前AI 评分58
MEMENTO：面向长上下文处理智能体的上下文管理训练方法
MEMENTO: Learning Context Management for Long Context Processing Agents
AI 导读
研究者提出 MEMENTO，一个基于 Qwen3-8B 训练的长上下文智能体，通过压缩（compaction）管理上下文窗口。方法先用带事后标注笔记的合成轨迹微调做引导，再用结合答案正确性、笔记质量启发式和置信度校准的奖励做强化学习。
正文 · AI 翻译
摘要：在长输入上运行的 LLM 智能体必须进行上下文管理：决定在固定大小的上下文窗口中保留什么。一种常见的方法是压缩，即模型用自己生成的笔记替换其历史记录。然而，包括 GPT-5.5 和 GLM-5.3 在内的现成智能体模型往往写出无效的笔记，而仅靠强化学习（RL）很少能发现有用的记笔记行为。我们提出 MEMENTO，这是一个基于 Qwen3-8B 构建的长上下文智能体，经过训练通过压缩来管理其上下文。我们首先通过在合成轨迹上进行微调来引导记笔记能力，这些轨迹标注了事后生成的笔记，然后使用结合答案正确性、笔记质量启发式和置信度校准的奖励，通过 RL 对其进行强化。尽管 MEMENTO 仅被训练为压缩到一个新的窗口，但它在测试时可以扩展到上下文折叠和基于置信度的回溯等策略。在四个基准的书籍级问答任务中，书籍长度高达 250 万 token，MEMENTO 将 Qwen3-8B 的准确率从 36.9% 提升到 67.8%，同时上下文中始终不超过 2 万 token。在相同的测试框架下，它以不到 1/50 的成本优于 GPT-5.5 智能体（13.1%）和完整书籍上下文（56.7%）。它还在成本为 1/9 的情况下几乎匹配了约 100 倍大的 GLM-5.3 智能体（69.3%），并在成本为 1/26 的情况下与 GLM-5.3 完整上下文相差 6.4 个百分点以内。
| 学科： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.00244 [cs.CL] |
| （或 arXiv:2611.00244v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.00244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yunfan Zhang [查看电子邮件]
[v1]
2026年10月30日星期五 18:25:08 UTC（195 KB）
来源：arXiv cs.CL · arxiv.org