arXiv cs.AI· Zerui Yang, Quan Xue, Miaomiao Dong, Chaorui Zhang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai·· 23 小时前AI 评分42
编码智能体何时该停?SWE-bench Verified 上 6000 次运行的 anytime 评估
Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop
AI 导读
研究通过 anytime 评估回放约 6000 次运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,发现自测通过后继续工作的价值差异巨大,可节省成本从不足 1% 到 57%。"同一补丁两次通过即停止"的规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量保持仍不确定。
正文 · AI 翻译
作者:Zerui Yang、Quan Xue、Miaomiao Dong、Chaorui Zhang、Xuanyu Zheng、Xiyuan Wang、Haolin Ruan、Xueyan Niu、Guangcheng Song、Weixi Zhang、Wei Han、Bo Bai
摘要:编码智能体常常在自身测试通过后继续工作。这些额外工作是否改进了补丁,提前停止又能节省多少?我们通过随时评估来研究这些问题:重放已记录的运行、用隐藏测试对中间补丁打分,并测量每一步产生的成本。对于仅停止运行或选择较早补丁的策略,只要重放能保留相关状态,就可以在不生成新轨迹的情况下进行配对比较。在 SWE-bench Verified 上,对两个脚手架中的八个开放模型约 6,000 次运行中,我们发现继续工作的价值存在显著差异。在通过自测时可获得的事后节省幅度从不足 1% 到 57% 不等,具体取决于模型和脚手架。在预注册的复现实验中,同一补丁连续两次通过后停止的规则节省了 23%,但预注册的质量测试未能确立非劣效性。我们通过测量规则触发频率、之后补丁变化频率以及这些变化是修复还是破坏补丁,来解释这些差异。在六个随机种子上,微调智能体模仿该规则可节省 30%,但质量保持仍不确定。我们的结果有助于识别提前停止的机遇与风险。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22901 [cs.AI] |
| (或 arXiv:2611.22901v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22901 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zerui Yang [查看电子邮件]
[v1]
2026年11月17日星期二 15:07:35 UTC(521 KB)
来源:arXiv cs.AI · arxiv.org