arXiv cs.AI· Zihan Dong, Qishi Zhan, Minxuan Hu·· 10 小时前AI 评分38
研究：Agent 基准测试在任务耗尽前就已停止区分模型排名
Agent Benchmarks Stop Ranking Before They Run Out of Tasks
AI 导读
重评八个基准（含 SWE-bench Verified、Terminal-Bench）的已发布运行结果发现，多数 Agent 基准把一次运行压缩成单一 pass/fail 位，饱和更多来自测量方式而非任务本身。
正文 · AI 翻译
摘要：数据科学与机器学习工程智能体在 MLE-bench、ALE-Bench、SWE-fficiency 和 AlgoTune 等基准上接受评估，这些基准的任务会产生一个量值（Kaggle 指标、竞赛分数或加速比）。当这些基准不再能区分出最佳模型时，通常的补救办法是推出更难的版本。我们重新评分了八个基准已发布的运行结果（其中包含 SWE-bench Verified 和 Terminal-Bench 以扩大覆盖面），发现这种饱和现象很大程度上源于测量方式，而非任务本身。大多数智能体基准将一次运行简化为一个通过/失败位，这在两方面存在缺陷。一是过于粗糙：在 SWE-bench Verified 上，相邻的前十名智能体之间的差异小于其测试误差，而修正这些误差后，相邻名次的重新排序幅度不超过随机删除每个智能体六分之一通过结果所带来的变化。二是以参考值为上限：ALE-Bench 的前十名按竞赛分数区分，但在以人类中位数为评分基准时却并列，尽管近一半的运行结果超过了该人类中位数。在固定任务上，提高门槛只会转移问题；分级评分则能解决它。我们推导出一种带日期锚点的截断对数比值分数，并将成本作为单独的维度。在一次 Terminal-Bench 重跑中，通过/失败结果并列的模型在测试所丢弃的量值上相差十倍以上。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13541 [cs.AI] |
| （或 arXiv:2611.13541v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13541 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihan Dong [查看邮箱]
[v1]
2026年11月10日 星期二 04:03:04 UTC（153 KB）
来源：arXiv cs.AI · arxiv.org