arXiv cs.AI· Hexuan Deng, Yue Wang, Wenyu Jiang, Cheng Yang, Haolin Yang, Zhaohua Zhang, Chenchen Zhao, Beiduo Chen, Muxi Chen, Sa Zhu, Geyuan Zhu, Jianhuan Zhuo, Qiuyong Xiao, Tianwen Jiang, Jihong Zhang, Xuebo Liu·· 9 天前AI 评分36
SWE-Journey：面向长周期多轮交互的编程助手更真实评测基准
SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
AI 导读
针对现有编程助手评测在任务周期和交互长度上的不足，研究者提出 SWE-Journey 基准，用弱到强合成流水线自动构建长周期编程任务，并基于真实交互数据挖掘四类用户画像、构建用户模拟智能体。测试显示，模型在软件架构师场景下通过超 75% 的功能测试，而在非程序员场景下不足 25%，表明当前编程助手尚难让非程序员可靠地写代码。
正文 · AI 翻译
作者：Hexuan Deng、Yue Wang、Wenyu Jiang、Cheng Yang、Haolin Yang、Zhaohua Zhang、Chenchen Zhao、Beiduo Chen、Muxi Chen、Sa Zhu、Geyuan Zhu、Jianhuan Zhuo、Qiuyong Xiao、Tianwen Jiang、Jihong Zhang、Xuebo Liu
摘要：Claude Code 和 Codex 等编码助手已成为 LLM 智能体的主要应用，但现有基准测试仍远未贴近真实使用场景，尤其是在任务时长和交互长度方面。编码助手需要在持续演进的代码仓库中完成长链条的开发工作，同时通过多轮交互反复澄清需求并调整实现。为弥补这些差距，我们提出了 SWE-Journey，一个用于更真实地评估编码助手的基准测试。针对任务时长差距，我们提出了一种弱到强的合成流水线，可自动构建长时长编码任务。针对交互差距，我们从真实交互数据中挖掘出四种代表性用户画像，并构建了一个用户模拟智能体，以复现真实的代码辅助交互。平均而言，在与软件架构师交互时，模型能通过超过 75% 的所请求功能测试，但在与非程序员交互时，通过率不足 25%。这些结果表明，当前编码助手仍无法为非程序员提供可靠的编码支持。我们进一步分析了这一差距的原因，并指出在交互过程中，问得对、找得对和改得对是关键能力。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；多智能体系统（cs.MA）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.11559 [cs.CL] |
| （或 arXiv:2610.11559v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11559 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Hexuan Deng [查看邮箱]
[v1]
2026年10月8日星期四 09:21:49 UTC（465 KB）
来源：arXiv cs.AI · arxiv.org