arXiv cs.AI· Guojun Zhu, Xunheng Huang, Peng Yin, Jiahui Xie, Sanguo Zhang, Doudou Zhou·· 10 小时前AI 评分34
CHASE:用反事实引导的智能体 harness 进化,摆脱任务特定捷径
Bad Genius: Counterfactual-Guided Harness Evolution Beyond Task-Specific Shortcuts
AI 导读
研究者提出 Counterfactual Harness Search and Evolution(CHASE),通过 Proposer 修改 harness、Challenger 搜索保持任务语义但削弱增益的协议变更,来检验 harness 改进能否在评测协议变化下存活。
正文 · AI 翻译
摘要:一个经过优化的 agent harness 可以通过依赖那些任务与基准其余部分共享的格式约定,在留出任务上取得提升。我们提出反事实 Harness 搜索与演化(CHASE),用于检验 harness 的改进在评估协议发生变化后是否仍然成立。Proposer 围绕固定的基础模型编辑 harness。随后 Challenger 搜索一种协议变更,该变更保留任务不变,但降低更新后的 harness 相对于初始 harness 的增益。可执行检查用于检验该变换是否保持任务语义。如果在留出任务上确认增益损失,CHASE 会将该变换加入一个档案库,该档案库约束后续的 harness 更新。我们给出了在移除捷径的理想基准上,该有限档案库能够限制增益损失的条件。我们在 Syn-Ledger、OfficeQA、FinanceBench 和 SWE-Bench Pro V2 上评估 CHASE。在 Syn-Ledger 上,移除已知捷径后,CHASE 的准确率为 38.30%,HarnessEvolve 为 18.27%。在来自 SWE-Bench Pro V2 HARD-51 的 21 个认证任务上,改变 issue 格式和工具输出字段顺序会使 HarnessEvolve 相对于初始 harness 的增益从 8.57 个百分点降至 3.81 个百分点。在同样的变更下,最终的 CHASE harness 在其 11.43 个百分点的增益中保留了 10.48 个百分点。
| 评论: | 42 页,6 张图,包括参考文献和补充材料 |
| 主题: | 人工智能(cs.AI);机器学习(cs.LG);机器学习(stat.ML) |
| 引用为: | arXiv:2609.18366 [cs.AI] |
| (或此版本的 arXiv:2609.18366v4 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2609.18366 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Guojun Zhu [查看邮箱]
[v1]
2026 年 9 月 16 日星期三 09:21:33 UTC(509 KB)
[v2]
2026 年 9 月 18 日星期五 06:03:43 UTC(513 KB)
[v3]
2026 年 9 月 24 日星期四 07:59:20 UTC(521 KB)
[v4]
2026 年 11 月 18 日星期三 05:17:43 UTC(704 KB)
来源:arXiv cs.AI · arxiv.org