arXiv cs.CL· Zhepei Wei, Wenlin Yao, Baolin Peng, Danqing Wang, Qianhui Wu, Hao Cheng, Yu Meng, Jianfeng Gao·· 11 小时前AI 评分38
Self-HPO：通过 Harness-Policy 联合优化实现自进化编程智能体
Self-Evolving Coding Agents via Harness-Policy Optimization
AI 导读
研究者提出 Self-HPO，一个让编程智能体交替优化 harness 与策略的递归自我改进框架，由当前策略自行分析失败并提出新 harness 候选。在三个编程基准上，该方法将 Qwen3.5-35B-A3B 的平均 resolve rate 从 57.8% 提升至 64.8%，且增益可泛化到分布外场景。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体在编码任务中展现出广阔前景，其性能由策略模型与负责协调其与环境交互的 harness 共同决定。事实上，harness 与策略相互促进、协同演进，仅优化其中一个组件并非最优——针对某一检查点调优的 harness 可能无法命中更新后策略的失效模式，而策略学习仍受限于固定 harness 所诱导的轨迹。鉴于此，我们提出 Self-HPO，一种面向编码智能体的递归自我改进框架，交替进行 harness 与策略优化，并以不断演进的策略自身作为 harness 提议者。具体而言，每一轮中，当前策略首先分析自身失败并提议新的 harness 候选（H 步）。随后，策略在所选 harness 下通过强化学习（RL）更新（P 步），训练中识别出的困难任务构成下一轮 harness 搜索集，使 harness 优化始终针对策略不断演进的失效模式。在三个编码基准上，Self-HPO 持续优于仅优化 harness 和仅优化策略的基线，将 Qwen3.5-35B-A3B 的平均解决率从 57.8% 提升至 64.8%，且增益可泛化至分布外场景。进一步分析表明，两个优化组件即使与各自的基座版本配对仍能保持增益，而二者的联合增益超过各自增益之和。Self-HPO 还提升了可靠性（Pass@1），并相较基础智能体拓展了能力边界（Pass@k）。此外，我们表明，以更强的外部模型（如 Opus 4.8）作为 harness 提议者时，同一框架可带来进一步的性能提升。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22791 [cs.CL] |
| （或 arXiv:2610.22791v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.22791 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhepei Wei [查看邮箱]
[v1]
2026年10月16日星期五 01:07:52 UTC（4,495 KB）
来源：arXiv cs.CL · arxiv.org