arXiv cs.AI· Wenxuan Ding, Qin Lu, Changlong Yu, Sha Li, Shuowei Jin, Xin Liu, Zhenyu Shi, Greg Durrett·· 11 小时前AI 评分38
Harness-Delta Attribution（HDA）：拆解 harness 进化带来的性能增益
Harness-Delta Attribution: Dissecting Gains From Harness Evolution
AI 导读
研究者提出 Harness-Delta Attribution（HDA）评估协议，将 harness 进化带来的增益拆分为 artifact 驱动的过拟合、test-time scaling 可解释部分，以及剩余部分（可泛化提升的上界）。
正文 · AI 翻译
摘要：Harness 演化在固定权重模型周围自动优化提示词、技能、工具和编排代码，提供了一种无需更新模型权重即可改进智能体系统的方法。智能体 harness 被迭代优化，以在搜索集上取得更高性能。但这种提升中有多少反映了针对基准的过拟合或额外的推理时计算，又有多少可能泛化到搜索集之外？在本工作中，我们引入 Harness-Delta 归因（HDA），一种评估协议，将演化增益分解为伪影驱动的过拟合、由测试时扩展解释的增益，以及剩余部分，后者给出残差可泛化改进的上界。我们将 HDA 应用于 11 个执行器模型和三个 harness 演化框架，涵盖数学、编程、创造力和智能体任务。在 21 个显示出统计显著搜索集增益的设置中，我们发现很大一部分改进可由过拟合或测试时扩展解释。具体而言，在这 21 个设置中，过拟合和测试时扩展平均分别占增益的 54% 和 14%；在 14 个设置中，它们的合计占比超过 50%。残差和留出迁移因任务、模型和框架而异，差异很大。重要的是，搜索集增益往往无法迁移到留出任务，并且提供的证据有限，表明它们在实际分布偏移下会持续存在。此外，基于验证的信号不足以防止过拟合。这些结果推动在未来的 harness 演化研究中采用归因感知的评估。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22466 [cs.AI] |
| （或 arXiv:2610.22466v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22466 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenxuan Ding [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:39:38 UTC（447 KB）
来源：arXiv cs.AI · arxiv.org