跳到正文
热点事件持续更新

研究:编码智能体自测通过后何时该停

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

Zerui Yang 等作者发表随时评测研究,回放约 6000 次编码智能体运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,衡量智能体自测通过后继续工作的价值。结果显示,此时提前停止可节省的成本从不足 1% 到 57%,因模型和 scaffold 而异。 研究测试的“同一补丁两次通过即停止”规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量能否保持仍不确定。

AI 根据报道生成 · 14 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv cs.AI
    编码智能体何时该停?SWE-bench Verified 上 6000 次运行的 anytime 评估

    研究通过 anytime 评估回放约 6000 次运行,在 SWE-bench Verified 上测试 8 个开源模型、2 种 scaffold,发现自测通过后继续工作的价值差异巨大,可节省成本从不足 1% 到 57%。"同一补丁两次通过即停止"的规则在预注册复现中节省 23%,但预注册质量测试未确立非劣性;微调智能体模仿该规则在 6 个随机种子上节省 30%,质量保持仍不确定。

本事件热度走势

可比范围当前
5
可比范围峰值
811月19日 22:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。