编码智能体基准被指存在规格-测试预言差距

Fei Ding 等人提出并形式化编码智能体基准中的“规格-测试预言差距”：任务只用自然语言描述，评分却依赖上游项目的测试，通过测试可能需要描述中从未给出的常量名、模块路径或精确消息。研究称，存在这种差距时，基准同时也在衡量智能体能否复现上游实现细节。 研究构建静态审计，并以 SWE-Milestone 为例，称其中 25 个里程碑包含未声明依赖。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。