arXiv cs.CL· Xingzhi Qian, Sungho Park, Rongyuan Tan, Jianbo Yu, Jue Zhang, Lorenzo Cavallaro, Menglin Xia, Yanzhi Chen, Xinnuo Xu, Yu Kang, Xinran Zheng, Gagan Somashekar, Xuchao Zhang, Chetan Bansal, Qingwei Lin, Victor R\"uhle·· 11 小时前AI 评分38
ParetoSaddler：面向质量与成本的智能体 Harness 帕累托引导优化
ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost
AI 导读
ParetoSaddler 将中间候选晋升与最终部署选择分离，用 Bayesian bootstrap 帕累托支持筛选在质量或成本上有可信进展的候选。在 ClawMark 上质量从 70.86% 提升至 81.35%，单任务成本从 $1.17 降至 $1.01；在 GAIA2 上质量从 56.22% 提升至 62.89%，成本从 $0.78 降至 $0.45。
正文 · AI 翻译
作者：Xingzhi Qian、Sungho Park、Rongyuan Tan、Jianbo Yu、Jue Zhang、Lorenzo Cavallaro、Menglin Xia、Yanzhi Chen、Xinnuo Xu、Yu Kang、Xinran Zheng、Gagan Somashekar、Xuchao Zhang、Chetan Bansal、Qingwei Lin、Victor Rühle
摘要：Harness 优化可以在不修改模型权重的情况下显著提升 LLM 智能体，但现有方法主要优化响应质量。将其扩展到质量与成本的联合优化会带来一个挑战：在中间更新时应用部署偏好，可能会过早拒绝那些对后续改进有价值的候选方案。我们提出 ParetoSaddler，通过将中间候选晋升与最终部署选择分离来解决这一不匹配问题。在每次迭代中，优化器更新父 harness 以生成一个候选方案，然后在重复执行中比较两者，并使用贝叶斯自助法 Pareto 支持度来晋升在质量或成本任一方面显示出可信进展的候选方案。被晋升的候选方案会接受更广泛的开发评估，并保留为后续优化步骤的父方案。我们在 ClawMark 和 GAIA2 上使用领域不相交的划分对 ParetoSaddler 进行评估。在 ClawMark 上，ParetoSaddler 将质量从 70.86\% 提升到 81.35\%，同时将每个任务的成本从 \$1.17 降低到 \$1.01；在 GAIA2 上，它将质量从 56.22\% 提升到 62.89\%，同时将每个任务的成本从 \$0.78 降低到 \$0.45。与仅优化质量的 harness 优化相比，Pareto 选出的 harness 还能以更低的成本实现更高的质量。分析表明，Pareto 感知优化会保留那些会被部署偏好丢弃、但能够支持后续改进的中间候选方案，而贝叶斯自助法筛选会过滤掉那些在多次运行中收益支持较弱的候选方案。
| 评论： | 项目网站和代码将在 此 https URL 提供 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.02079 [cs.AI] |
| （或 arXiv:2611.02079v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02079 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xingzhi Qian [查看电子邮件]
[v1]
2026年11月1日星期日 17:36:05 UTC（589 KB）
来源：arXiv cs.CL · arxiv.org