arXiv cs.AI· Zhan-Yu Wu, Ji Luo, Alyssa Wu, Junjielong Xu, Richeng Xuan, Zhichao Hu, Chongming Gao, Xinting Hu·· 12 小时前AI 评分42
UserSWE：用动态用户多轮对话评测编程智能体
UserSWE: Evaluating Coding Agents in Multi-Turn Conversations with Dynamic Users
AI 导读
研究者提出 UserSWE，用于评测编程智能体在多轮对话中修复仓库级 bug 的能力，每轮都基于测试执行给出判定。该基准由仓库历史和现有单轮基准构建，模拟用户受信息池约束、说话方式由基于 20,859 个开发会话校准的 persona chain 控制。
正文 · AI 翻译
摘要：随着编码智能体能力不断增强，开发者越来越多地通过多轮交互让它们修复缺陷。现有基准未能充分覆盖这一场景。大多数基准在单轮中给出完整的问题报告，不涉及交互。其评估既可能产生假阳性，也可能产生假阴性，即接受错误的补丁或拒绝正确的补丁。我们提出 UserSWE，用于评估编码智能体通过与动态用户进行多轮交互来修复仓库级缺陷的能力，并在每一轮给出基于执行的判定。其构建流程将仓库历史和现有单轮基准转化为多轮任务。在每一轮中，信息池约束模拟用户可透露的内容，而从基于 20,859 个开发会话校准的转移模型中采样出的人格链则决定其说话方式。每轮之后都会运行测试，由来自不同模型家族的一对智能体撰写并把关每一项判定，以测试结果为主要证据，仅在测试无法解决的方面使用模型判断。我们在来自 42 个仓库的 72 个任务上评估了十一个智能体，发现智能体的排名会随交互预算而变化。Claude Fable 5.1 在一轮内解决的任务最多，GPT-6-Astra 在第八轮时解决的任务最多，而 Claude Opus 5 在大多数中间预算下领先。这些结果表明，单轮表现不足以刻画交互式编码能力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29822 [cs.AI] |
| （或 arXiv:2610.29822v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29822 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhan-Yu Wu [查看邮箱]
[v1]
2026年10月21日 星期三 14:46:22 UTC（2,163 KB）
来源：arXiv cs.AI · arxiv.org