arXiv cs.AI· E. Kelly Buchanan, Crystal Zhou, Scott W. Linderman, Christopher R\'e·· 11 小时前AI 评分55
论文提出基准即软件：以 Terminal-Bench 为例论证持续评测
Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks
AI 导读
论文提出“基准维护债”概念，指出编码智能体基准即使发布时经过严格验证也会随模型进步而过时，并给出一套结合社区报告、任务产物、智能体轨迹、自动 oracle 检查和人工把关修复的持续校验流程。
正文 · AI 翻译
摘要：编码智能体是迄今为止 LLM 最具经济影响的部署之一，因此可靠的评估日益重要。然而，即便是发布时经过仔细验证的基准，也可能变得过时。随着模型改进，它们可能发现现有验证器拒绝的合法解决方案，而评估基础设施的变化可能使任务和测试中嵌入的假设失效。我们将由此产生的缺陷累积称为基准维护债务：基准分数与其旨在衡量的能力之间日益扩大的差距。我们为智能体基准引入了一种持续验证工作流，结合社区报告、任务工件、智能体轨迹、自动 oracle 检查和人工把关的修复。我们将此工作流应用于 Terminal-Bench 2.0，该基准在发布前经过了广泛的人工和 LM 辅助审查及红队测试。我们的审计发现了该基准约 30% 的问题，并将由此产生的修复发布为 Terminal-Bench 2.1。这些修复改变了评估结果：准确率提高了超过 10 个百分点，排行榜位置最多移动三个名次，尽管整体排名仍高度相关（Spearman rho = 0.958）。
我们评估了资源分配如何影响基准结论。我们表明，固定的挂钟时间可以显著改变智能体性能：例如，延长时间限制可弥合 GPT 5.4 上 20pp 的 harness 差距，并将 GPT 5.4 mini 上 30 pp 的差距缩小至 5 pp。因此，基准维护不仅关乎修复任务工件：资源预算属于测量规范的一部分，必须与任务本身一同验证。
更广泛地说，基准维护债务不仅仅是累积的实现错误：我们的结果表明，随着模型改进，评估假设和资源设置都可能需要重新验证。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.08417 [cs.AI] |
| （或 arXiv:2611.08417v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.08417 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Estefany Kelly Buchanan [查看电子邮件]
[v1]
2026年11月5日星期四 18:18:39 UTC（601 KB）
来源：arXiv cs.AI · arxiv.org