跳到正文
arXiv cs.CL· Zhuoshi Pan, ZhiYuan Feng, Yukuo Cen, Honglin Lin, Junru Lu, Zhongxia Chen, Shuo Yang, H. Vicky Zhao, Jie Tang·· 11 小时前AI 评分35

HarnessPro:用帕累托优化实现递归 Harness 自我改进,权衡性能与成本

HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs

AI 导读

HarnessPro 是一种无需标签的 harness 进化方法,通过专门智能体诊断执行轨迹并规划更新,在提升任务表现的同时降低执行成本。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Harness 开发在构建能力强大的 AI 智能体方面起着至关重要的作用。近期的方法通过递归自我改进(RSI)来改进 harness,但其性能提升往往伴随着更高的执行成本。我们提出 HarnessPro,一种无需标签的方法,用于演化 harness,在提升任务性能的同时降低执行成本。在此设定下,候选 harness 使用 LLM 生成的测试进行评估,无法访问真实答案或官方测试。专门的智能体诊断执行轨迹,按不同的性能-成本优先级规划更新,并将其实现为候选 harness。HarnessPro 并不返回单一 harness,而是使用归一化加权平方距离选择,为不同的部署预算提供以成本为重点(lite)、均衡(medium)和以性能为重点(heavy)的 harness。选中的 harness 进入下一轮迭代,由执行反馈指导进一步的更新。我们的实验涵盖 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench,使用 GPT-5.5 搭配 Codex 以及 GLM-5.2 搭配 Claude Code。在这些基准测试中,使用 GPT-5.5 搭配 Codex 时,HarnessPro 的 heavy 模式相对于 RHO 平均通过率提升 2.0 个百分点,平均每任务成本降低 26.1%。这一优势在使用 GLM-5.2 搭配 Claude Code 时同样成立。代码可在 此 https URL 获取
评论: 41 页,4 幅图,4 张表,审稿中
主题: 机器学习(cs.LG);计算与语言(cs.CL)
引用为: arXiv:2610.26770 [cs.LG]
  (或 arXiv:2610.26770v2 [cs.LG] 查看此版本)
  https://doi.org/10.48550/arXiv.2610.26770

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zhuoshi Pan [查看邮箱]
[v1] 2026 年 10 月 19 日星期一 17:27:38 UTC(587 KB)
[v2] 2026 年 10 月 20 日星期二 06:00:54 UTC(587 KB)

来源:arXiv cs.CL · arxiv.org