长程编码基准Multi-step SWE发布：最强模型解决率18.5%

Xiangkai Zeng等研究者提出并公开发布长程软件工程基准Multi-step SWE，用于检验编码智能体能否在长周期内持续构建自己的代码。基准包含69个任务，每个任务由5至15个相互依赖的步骤组成，每一步都基于智能体此前写出的代码继续扩展或优化，覆盖四类工程工作和九种语言，既有从零构建，也有基于现有开源代码库的任务。 在九个前沿模型中，最强模型的解决率仅为18.5%，69个任务中有38个没有任何模型解出。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。