研究：Agent基准饱和源于评分方式

Zihan Dong等作者提出一种带日期锚点的截断对数比评分方法，主张把成本作为独立维度，以修正 Agent 基准测试的饱和问题。 该研究重评了包括 SWE-bench Verified、Terminal-Bench 在内的八个基准的已发布运行结果，发现多数 Agent 基准把一次运行压缩成单一的 pass/fail 位，饱和更多来自这种测量方式，而非任务本身耗尽。作者据此认为，基准在任务耗尽前就已停止区分模型排名。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。