跳到正文
arXiv cs.AI· Zerui Yang, Quan Xue, Miaomiao Dong, Chaorui Zhang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai·· 23 小时前AI 评分42

编码智能体何时该停?SWE-bench Verified 上 6000 次运行的 anytime 评估

Done, But Still Working: Anytime Evaluation of When Coding Agents Should Stop

AI 导读

研究通过 anytime 评估回放约 6000 次运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,发现自测通过后继续工作的价值差异巨大,可节省成本从不足 1% 到 57%。"同一补丁两次通过即停止"的规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量保持仍不确定。

正文 · AI 翻译

作者:Zerui Yang、Quan Xue、Miaomiao Dong、Chaorui Zhang、Xuanyu Zheng、Xiyuan Wang、Haolin Ruan、Xueyan Niu、Guangcheng Song、Weixi Zhang、Wei Han、Bo Bai

查看 PDF HTML(实验性)

摘要:编码智能体常常在自身测试通过后继续工作。这些额外工作是否改进了补丁,提前停止又能节省多少?我们通过随时评估来研究这些问题:重放已记录的运行、用隐藏测试对中间补丁打分,并测量每一步产生的成本。对于仅停止运行或选择较早补丁的策略,只要重放能保留相关状态,就可以在不生成新轨迹的情况下进行配对比较。在 SWE-bench Verified 上,对两个脚手架中的八个开放模型约 6,000 次运行中,我们发现继续工作的价值存在显著差异。在通过自测时可获得的事后节省幅度从不足 1% 到 57% 不等,具体取决于模型和脚手架。在预注册的复现实验中,同一补丁连续两次通过后停止的规则节省了 23%,但预注册的质量测试未能确立非劣效性。我们通过测量规则触发频率、之后补丁变化频率以及这些变化是修复还是破坏补丁,来解释这些差异。在六个随机种子上,微调智能体模仿该规则可节省 30%,但质量保持仍不确定。我们的结果有助于识别提前停止的机遇与风险。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.22901 [cs.AI]
  (或 arXiv:2611.22901v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22901

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Zerui Yang [查看电子邮件]
[v1] 2026年11月17日星期二 15:07:35 UTC(521 KB)

来源:arXiv cs.AI · arxiv.org