热点事件观察中

SWE-Bench Pro V2 编码基准发布

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Soham Dan 等作者发布 SWE-Bench Pro V2，修订原基准的公开测试集：731 个任务中修复或淘汰 480 个，并加固评测协议，限制网络访问、在干净容器中重新评分。作者称，23 名签约工程师投入 404 小时，每条修订指令由第二名工程师仅凭文本独立解题验证。在 642 个 V2 任务上，前沿智能体最高解决 99.4%；51 个任务的 Hard 子集得分区间为 52.9% 至 98.0%。

AI 根据报道生成 · 10 小时前更新

最新进展11月14日 13:00

SWE-Bench Pro V2 发布：更干净、更难刷分的编码基准

报道时间线

沿着报道，了解事件的不同侧面。

11月14日

13:00
arXiv cs.AI
SWE-Bench Pro V2 发布：更干净、更难刷分的编码基准
SWE-Bench Pro V2 发布，修复或淘汰了 731 个任务中的 480 个，并加固评测协议以限制网络访问、在干净容器中重新评分。23 名签约工程师投入 404 小时，每条修订指令由第二名工程师仅凭文本独立解题验证。在 642 个 V2 任务上，前沿智能体最高解决 99.4%，51 个任务的 Hard 子集得分区间为 52.9% 至 98.0%。

本事件热度走势

可比范围当前: 5
可比范围峰值: 711月15日 04:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。