arXiv cs.AI· Xiangkai Zeng, Zheng Liu, Zihao Lin·· 11 小时前AI 评分58
Multi-step SWE：编码智能体能否在长周期内持续构建自己的代码
Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?
AI 导读
研究者提出 Multi-step SWE 长周期基准，包含 69 个软件工程任务，每个任务由 5-15 个相互依赖的步骤组成，每一步都基于智能体此前写出的代码继续扩展或优化。在九个前沿模型中，最强模型的解决率仅为 18.5%，69 个任务中有 38 个没有任何模型解出。任务覆盖四类工程工作和九种语言，既包含从零构建，也包含基于现有开源代码库的任务。
正文 · AI 翻译
摘要：开发者很少只向编码智能体提出一个请求：他们会要求它构建一个组件，然后对其进行扩展、升级和优化，而每次操作都基于智能体自己编写的代码。然而，大多数基准测试一次只评估一个任务。我们推出 Multi-step SWE，这是一个长周期基准测试，包含 69 个软件工程任务，每个任务都是在单一代码库上由 5-15 个相互依赖的步骤组成的链条。每一步都是一个完整的、耗时数小时的工程请求，且都从智能体在前序步骤中产出的代码开始，因此早期的设计决策和错误会延续下去。这些任务涵盖四类工程工作和九种语言，既包括从零构建，也包括基于现有开源代码库的任务，并且每一步都基于一个既定义指令又定义其验证器的现有事实来源。在九个前沿模型中，最强的模型仅达到 18.5% 的解决率，且 69 个任务中有 38 个没有任何模型能够解决。我们在 此 https URL 公开发布 Multi-step SWE。
| 注释： | 预印本。代码与基准测试：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07166 [cs.SE] |
| （或 arXiv:2611.07166v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07166 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangkai Zeng [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 21:49:40 UTC（219 KB）
来源：arXiv cs.AI · arxiv.org