arXiv cs.AI· Jingzhe Liu, Jiliang Tang, Tong Zhao, Neil Shah, Clark Mingxuan Ju·· 12 小时前AI 评分38
通过连续规模竞赛实现智能体框架进化:SSR 将更多任务锻造成更优 Harness
Forging More Tasks into Better Harnesses: Agentic Harness Evolution via Successive Scale Racing
AI 导读
针对智能体框架进化中任务池扩大反而导致性能下降的问题,研究者提出 Successive Scale Racing(SSR)框架,在每轮进化中按任务质量与覆盖度构造多样化证据组合,并以小算力预算对候选 harness 进行竞赛筛选。
正文 · AI 翻译
摘要:Agentic harness 演化通过将智能体的任务执行经验作为不断演化的证据,来优化其指令、工具和控制流。虽然直觉上更多的演化任务应当能提升性能,但我们的初步研究揭示了一种悖论式的失败模式:随着任务池扩大,现有方法的性能反而下降。我们的进一步分析表明,这种退化源于优化过程中次优的证据选择,因为不同的证据组合会导致显著不同的演化结果。为解决这一问题,我们提出了 Successive Scale Racing(SSR)框架,它在每一轮演化中自适应地搜索最优证据组合。SSR 根据相应的任务质量和覆盖度构建多样化的证据组合,并在较小的计算预算下高效地对生成的候选 harness 进行竞速评估。在实证上,SSR 在三个不同的基准上于全部六种配置中均取得了最先进的结果。值得注意的是,当任务池从 40 增长到 200 时,SSR 的通过率从 64.3% 稳步提升至 68.3%,而所有基线的性能均出现下降。此外,其竞速机制在将验证执行次数减少 60% 的同时,识别出了接近最优的候选方案。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.28815 [cs.AI] |
| (或 arXiv:2610.28815v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28815 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jingzhe Liu [查看邮箱]
[v1]
2026年10月20日星期二 18:36:33 UTC(216 KB)
来源:arXiv cs.AI · arxiv.org