arXiv cs.AI· Yuanzhe Liu, Bastian Lipka, Avraham Shinnar, Jatin Ganhotra, Yao Ma, Martin Hirzel·· 11 小时前AI 评分31
编码基准测试如何避免提示泄露与猜测：SWE-bench Pro 等基准的过度指定问题研究
Between Spoilers and Guesswork: Avoiding Over-Specification in Coding Benchmarks
AI 导读
研究发现 SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 通过从标准答案中提取提示来补充任务描述，反而造成任务过度指定，让解法得以绕过基准本应考察的困难步骤。作者通过不同指定程度的实验，在“剧透”与“猜测”之间寻找平衡，并提出推导精简提示的技术方案，相关提示将公开发布。
正文 · AI 翻译
摘要：基准测试推动着 AI 的进步，但受制于任务描述不足与任务描述过度。任务描述不足会导致猜测，解决方案不得不凭空编造，更糟的是诉诸数据污染或奖励黑客。任务描述过度则会造成剧透，解决方案可以绕过基准测试本应衡量的一些较难步骤。由于面向未来的基准测试应当具有难度，过度描述会缩短基准测试被社区采用的保质期。仓库级编码基准测试推动了该领域的进步，但因描述过度与描述不足而经历了不必要的动荡。例如，SWE-bench Pro、FEA-bench、Doc2Feat-bench 和 Multi-SWE-bench 都通过用源自标准答案的提示来增强任务陈述，从而应对描述不足的问题。我们表明，将标准答案信息泄漏到任务陈述中，会导致其中一些基准测试出现描述过度。我们尝试了各种描述程度，试图在剧透与猜测之间找到平衡。基于这些结果，我们推荐了推导简约提示的技术。我们将发布我们的提示，以便社区能够从流行的基准测试中获得更可靠的信号。
| 评论： | 代码可在 此 https URL 获取 |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.22760 [cs.AI] |
| （或 arXiv:2610.22760v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22760 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanzhe Liu [查看邮箱]
[v1]
2026年10月16日星期五 00:02:54 UTC（382 KB）
来源：arXiv cs.AI · arxiv.org