arXiv cs.CL· Jialei Li, Dingxian Wang, Xiaoyan Zhao, Yimeng Bai, Xuanyi Zhu, Yang Zhang, Chao Yin, Wentao Shi, Ganesh Prabhu, Karthik Gomadam Rajagopal, Brett Levert, Darvin Yi, Andrew Rabinovich, Zhao Chen·· 11 小时前AI 评分40
SWE-Clar：编码智能体能否澄清不完整的客户需求并交付绿地软件？
SWE-Clar: Can Coding Agents Clarify Incomplete Client Requirements and Deliver Greenfield Software?
AI 导读
研究者提出 SWE-Clar 基准，用于评估编码智能体在自由职业场景下澄清需求并实现代码的能力，包含 100 个基于 Upwork 真实开发任务（每项总付款至少 US$4,000）的任务。每个任务先进行编码智能体与客户智能体的多轮交互，再分别独立运行代码实现与澄清评估，后者由 512 道配参考答案的问题构成。九个前沿模型测试中，实现得分最高的 GPT-6 Astra 任务通过率也仅 67%。
正文 · AI 翻译
作者：Jialei Li、Dingxian Wang、Xiaoyan Zhao、Yimeng Bai、Xuanyi Zhu、Yang Zhang、Chao Yin、Wentao Shi、Ganesh Prabhu、Karthik Gomadam Rajagopal、Brett Levert、Darvin Yi、Andrew Rabinovich、Zhao Chen
摘要：自由职业场景下的绿地软件开发要求编码智能体将不完整的客户需求转化为可运行的软件。这使得需求澄清至关重要，然而客户可能无法在漫长的开发周期中持续提供反馈，而且即使收到他们的答复，也不能保证对复杂需求的理解是正确的。这些挑战促成了两项基准设计选择：澄清先于代码实现，并且其有效性通过需求理解的显式测试来评估。在这些选择的指导下，我们推出了 SWE-Clar，这是一个基于真实、高价值客户委托的基准，用于评估该场景下的需求澄清与代码实现。它包含 100 个基于 Upwork 上真实软件开发工作的任务，每个任务的总付款额至少为 4,000 美元。每个任务首先进行编码智能体与客户智能体之间的多轮交互，随后分别运行代码实现（含验收测试）和澄清评估。对于后者，我们基于真实客户与自由职业者的交互构建了 512 个问题并配有参考答案，涵盖明确陈述的需求以及从对话上下文中推断出的需求。两次运行都从相同的澄清上下文开始，但保持相互隔离，以防止评估问题引导代码实现。对九个前沿模型的实验表明，即使是观察到的实现得分最高的 GPT-6 Astra，其任务通过率也仅为 67%，凸显了该场景下独立软件交付的挑战。数据集和评估代码可在 此 https URL 获取。
| 评论： | 29 页，9 幅图，11 张表。代码与数据：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31854 [cs.SE] |
| （或 arXiv:2610.31854v1 [cs.SE] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.31854 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jialei Li [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 19:36:48 UTC（423 KB）
来源：arXiv cs.CL · arxiv.org