arXiv cs.AI· Shuangjie Yao, Hao Wang, Koushik Sen, Simin Chen, Baishakhi Ray, Dawn Song·· 9 天前AI 评分62
TestJack：通过评估器演化审计编码基准，约34.4%被判正确的模型试验违反任务要求
TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution
AI 导读
论文提出 TestJack，一个超越固定单元测试的补丁评估框架：针对每个试验生成覆盖提示词要求的测试，只保留真实补丁能通过的测试，并重新检查失败的试验，使每个确认的失败都有可回放的测试支撑。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体正在迅速重塑软件工程，随之而来的是大量新代码基准测试的涌现。然而，几乎所有现有基准测试仍然依赖同一个沿用数十年的标准：只要解决方案通过一组固定的单元测试，就被判定为正确。这类测试往往并不充分：它们只检查任务所需的一部分内容，因此智能体可以通过奖励黑客手段钻空子，或在通过所有测试的同时悄然遗漏必需的行为。结果是，更高的基准测试分数可能部分反映的是对评估器的更好适应，而非更好的问题求解能力。现有工作聚焦于静态测试增强：它们在看到任何试验之前，就一次性强化每个任务的测试，因而忽视了真实试验实际是如何失败的。我们提出 TestJack，一个可扩展的框架，用于在固定测试之外评估补丁。对于每次试验，TestJack 会针对补丁可能违反的提示要求生成测试，仅保留由真实补丁通过的测试，并重新检查任何试验失败。因此，每个被确认的失败都有可复现的测试作为支撑。为降低评估成本，我们还引入了一个轻量级变体，它对随机抽样的试验进行深度审计，并将由此得到的测试复用于同一任务的所有试验。在 6 个前沿模型后端和 5 个基准测试（如 DeepSWE 和 SWE Marathon）上，我们发现当前被判定为正确的模型试验中约有 34.4% 违反了任务要求，使整体解决率从 50.6% 降至 33.2%。我们的结果揭示了当前编码智能体评估的一个根本局限：随着 LLM 越来越擅长针对固定评估器进行优化，这些评估器本身也必须变得更加自适应。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10619 [cs.SE] |
| （或本版本的 arXiv:2610.10619v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.10619 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuangjie Yao [查看邮箱]
[v1]
2026年10月7日星期三 07:58:04 UTC（389 KB）
来源：arXiv cs.AI · arxiv.org