研究:编码智能体自测通过后何时该停
热点事件持续更新
研究:编码智能体自测通过后何时该停
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
Zerui Yang 等作者发表随时评测研究,回放约 6000 次编码智能体运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,衡量智能体自测通过后继续工作的价值。结果显示,此时提前停止可节省的成本从不足 1% 到 57%,因模型和 scaffold 而异。 研究测试的“同一补丁两次通过即停止”规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量能否保持仍不确定。
AI 根据报道生成 · 14 小时前更新
最新进展11月19日 13:00
编码智能体何时该停?SWE-bench Verified 上 6000 次运行的 anytime 评估报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv cs.AI编码智能体何时该停?SWE-bench Verified 上 6000 次运行的 anytime 评估
研究通过 anytime 评估回放约 6000 次运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,发现自测通过后继续工作的价值差异巨大,可节省成本从不足 1% 到 57%。"同一补丁两次通过即停止"的规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量保持仍不确定。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 811月19日 22:00
- 近 24 小时变化
- –
02468
11月20日03:0006:0009:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。