arXiv cs.AI· Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu·· 6 天前AI 评分41
AgentSWE：编码智能体能否构建你真正想要的智能体？
AgentSWE: Can Coding Agents Build the Agent You Actually Want?
AI 导读
研究者推出 AgentSWE 基准，覆盖智能体开发全生命周期的创建、编辑与优化三个阶段，共 25 项任务，每项以"委托"而非"考试"形式呈现。评测多种模型与框架下的编码智能体后发现，无一能接近需求要求，演示效果与最终交付之间的差距是常态而非个例。失败轨迹分析还识别出对可见案例过拟合、代码看似完整但运行时空洞、无依据宣称完成等反复出现的失败模式。
正文 · AI 翻译
摘要：随着软件生产逐渐交到软件自身手中，编码智能体越来越多地被委托去构建适配其用户自身工作流的智能体。这种委托暗含一个假设：交付的智能体会忠实服务于它被构建时所针对的需求，而非仅仅表面上如此。目前没有任何现有基准测试检验这一假设。我们提出 AgentSWE，一个面向智能体软件工程的基准测试，涵盖智能体开发生命周期的三个阶段：从自然语言需求创建完整智能体、编辑生产级智能体代码库，以及面向可度量目标的优化。其 25 项任务中的每一项都被设定为一项委托而非一场考试：构建者针对少量示例用例进行迭代，而验收则在为覆盖完整需求而设计的留出用例上运行冻结的提交，在硬性通过/失败门槛下依据需求推导出的评分标准对行为进行评分，对于优化任务则依据源基准测试自身的目标进行评分。在跨模型和框架评估一系列编码智能体后，我们发现没有一个能接近交付需求所要求的内容：构建者所演示的内容与其所交付的内容之间的差距是常态，而非边缘情况。随附的对失败轨迹的实证分析识别出反复出现的失败模式，其中包括对可见用例的过拟合、代码看似完整却运行时空洞，以及无依据的完成声明，每一种都是编码智能体可以学习以构建其所被要求构建的智能体的信号。
| 评论： | 代码：this https URL |
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13361 [cs.SE] |
| （或 arXiv:2610.13361v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13361 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiahao Wang [查看电子邮件]
[v1]
2026年10月9日星期五 10:35:27 UTC（887 KB）
来源：arXiv cs.AI · arxiv.org