arXiv cs.CL· Yuechen Luo, Zhiyi Lai, Miao Ziqi, Zihang Xu, Jingxuan Xu, Songwei Yu, Wenqiang Zhu, Weihao Li, Junhao Fan, Haoyang Huang, Yanan Wu, Ken Deng·· 2 天前AI 评分35
OPRD：面向长程编程智能体的同策略提醒蒸馏
OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents
AI 导读
研究提出同策略提醒蒸馏（OPRD），通过多范围提醒监督与基于结果的路由，在无提醒的学生 rollout 上训练长程编程智能体，推理时学生无需提醒即可运行。
正文 · AI 翻译
作者：Yuechen Luo、Zhiyi Lai、Miao Ziqi、Zihang Xu、Jingxuan Xu、Songwei Yu、Wenqiang Zhu、Weihao Li、Junhao Fan、Haoyang Huang、Yanan Wu、Ken Deng
摘要：可靠的仓库级编码要求智能体不仅能生成正确的代码，还要在长交互中保持约束并响应工具反馈。然而，我们的诊断分析表明，智能体往往无法对上下文中已有的相关信息采取行动，而最终的通过/失败结果仅提供稀疏的过程监督。我们提出 On-Policy Reminder Distillation（OPRD），它将 Multi-Scope Reminder 监督与基于结果的路由相结合，作用于无提醒的学生 rollout。成功的 rollout 提供自回归自模仿目标，而失败的 rollout 则从重新评估相同学生生成前缀的教师处获得 Reminder 条件下的 reverse-KL 监督。Global Reminder 将最终测试诊断转化为轨迹级指导，而 Turn-local Reminders 仅适用于相关环境观察后的下一个决策。教师和学生共享来自 Coding SFT 和 Instruction-Following（IF）SFT 的两阶段初始化。在推理时，学生无需 Reminders 运行。在 SWE-bench Verified、SWE-bench Pro 和 SWE-bench Multilingual 上，OPRD 相比开源 Qwen3.5-4B 基础模型将基准平均任务解决率提高了 11.3 个百分点。在相同的诊断协议下，它将总错误事件数从 446 减少到 222，降低了 50.2%。
| Comments: | 19 页，含附录 |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21496 [cs.CL] |
| （或 arXiv:2610.21496v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21496 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuechen Luo [查看邮箱]
[v1]
2026年10月15日星期四 08:32:30 UTC（1,702 KB）
来源：arXiv cs.CL · arxiv.org