arXiv cs.CL· Fei Ding·· 12 小时前AI 评分39
测试评分的编码智能体基准存在规格-预言差距：SWE-Milestone 中 25 个里程碑含未声明依赖
What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
AI 导读
研究提出编码智能体基准中的“规格-预言差距”：任务用自然语言描述，却用上游项目测试评分，通过测试可能需要描述中从未给出的常量名、模块路径或精确消息。
正文 · AI 翻译
摘要：编码智能体基准测试通常用自然语言描述任务，却用取自上游项目的测试来评分。要通过这些测试，可能需要描述中从未提及的信息：某个常量的名称、某个模块路径、某条确切的消息。我们称此为规范—判据缺口：只要存在这种缺口，基准测试同时也在衡量智能体能否复现上游实现细节。我们对这一缺口进行了形式化，包括依赖任务链所引入的不一致，并构建了一个针对五种语言的静态审计工具，对每个计分测试的每个名称级、路径级和字面量级依赖进行分类（留出精确率 89.2%，召回率 92.9%）。在 SWE-Milestone（98 个计分里程碑，35 次已发布运行）上，有 25 个里程碑包含依赖于未说明且无法推断的名称或路径的测试。带有此类依赖的构建单元在 80.6% 的运行中失败，而无此类依赖的可比单元失败率为 48.4%；从参考实现中隐去一个隐藏名称，就会导致其单元的测试在 128 个案例中有 126 个无法编译。排行榜的排名在移除受影响测试后依然稳健，但这些测试会改变各仓库内部的得分，并偏向于能复现上游名称的智能体。在另外四个基准测试中，缺口普遍程度似乎取决于构建方式：当规范是发布说明或 LLM 摘要时，三分之一或更多的任务受到影响；当任务经过筛选或专为其测试而编写时，几乎不受影响；缺口的代价大小取决于评测框架的评分方式。我们发布了审计工具、修正后的过滤列表和规范补充说明。
| 评论： | 13 页 |
| 主题： | 计算与语言（cs.CL） |
| MSC 分类： | 68N30 |
| ACM 分类： | D.2.5 |
| 引用为： | arXiv:2610.30635 [cs.CL] |
| （或 arXiv:2610.30635v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.30635 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ding Fei [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 02:56:44 UTC（590 KB）
来源：arXiv cs.CL · arxiv.org