arXiv cs.CL· Lirui Luo, Kelong Mao, Xinwei Yang, Rongqing Li, Luyu Chen, Kieran Wong, Yudong Guo, Xinrui Wang, Jiayin Zhu, Gu Simiu, Sulong Xu, Cong Fang·· 10 小时前AI 评分38
CAMP-II：用在线策略蒸馏解锁预训练文件操作能力，提升编码智能体长程任务记忆
Coding Agent Memory Post-Training II: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via On-Policy Distillation
AI 导读
CAMP-II 通过全异步在线策略蒸馏，让单一策略在 CAMG-II 的 Shop、Coding、AutoResearch、General、Visual 五个长程环境中联合训练，学习基于文件的记忆行为。在 CAMG-II 上，其收益达到最强 OPD 基线的 2.97 倍，所学记忆行为还泛化到 Terminal-Bench 2.1 和 SWE-Bench Pro V2 两个外部基准并提升成功率。
正文 · AI 翻译
作者：Lirui Luo、Kelong Mao、Xinwei Yang、Rongqing Li、Luyu Chen、Kieran Wong、Yudong Guo、Xinrui Wang、Jiayin Zhu、Gu Simiu、Sulong Xu、Cong Fang
摘要：语言模型智能体越来越多地处理长时程任务，其交互历史超出了模型的活动上下文。因此，它们必须决定要写下什么、要读回什么，以及何时执行其中任一操作。近期工作已开始使用同策略蒸馏（OPD）将记忆控制纳入策略，依赖的是两个模型预训练之外的记忆工具与压缩协议。然而，这削弱了双方的蒸馏效果：教师无法对从未使用过的接口给出有用指导，而学生采样的有意义记忆动作太少，导致该指导无法生效。为研究这一问题，我们提出 Coding Agent Memory Gym II（CAMG-II），一套涵盖 Shop、Coding、AutoResearch、General 和 Visual 的长时程智能体强化学习环境。除各环境原生任务接口外，CAMG-II 还提供普通 Bash 访问和跨回合持久化工作区，使策略能够在上下文替换之间创建、修改、搜索和复用文件作为记忆。我们还提出 Coding Agent Memory Post-Training II（CAMP-II），它通过完全异步的 OPD 在全部五个环境中联合训练单一策略，直接从具有文件操作先验的冻结教师中学习这种基于文件的记忆行为。在 CAMG-II 上，CAMP-II 获得的增益是最强 OPD 基线的 2.97 倍。CAMP-II 学到的记忆行为可泛化到两个外部基准 Terminal-Bench 2.1 和 SWE-Bench Pro V2，成功率均有提升。
| 评论： | 40 页，6 幅图，8 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14009 [cs.LG] |
| （或 arXiv:2611.14009v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14009 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Lirui Luo [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 12:49:24 UTC（11,663 KB）
来源：arXiv cs.CL · arxiv.org