arXiv cs.CL· Igor Slinko, Yaroslav Golubev, Sergey Titov·· 10 天前AI 评分39
编码智能体基准测试应匹配用户任务流
Coding-Agent Benchmarks Should Match Their Users' Task Flows
AI 导读
研究收集了 JetBrains IDE 中 4,782 个真实软件工程师的智能体会话（Production Sessions），发现长会话的任务类型远比 issue 衍生基准任务更广，且用户会在会话中切换任务类型。
正文 · AI 翻译
摘要：对编码智能体的评估通常力求尽可能贴近真实。在我们的研究中，我们收集了 JetBrains IDE 中真实软件工程师的 4,782 个智能体会话，我们称之为 Production Sessions。由于我们的研究对象是交互式智能体，我们研究的是至少有 3 条用户消息的会话（占样本的 33%）。这些长会话与源自 issue 的基准任务有两点不同：(i) 用户请求涵盖的任务类型范围要广泛得多——关于项目代码的问题、规划、审查、重构、执行——以及 (ii) 用户在整个会话过程中会在不同类型之间切换。来自三个公开交互语料库的长会话样本表现出明显不同的 Task Flow（会话长度、任务类型以及类型间转换的分布），因此没有任何单一的交互分布是普遍真实的：基准测试应指明目标用例，并根据其测量结果进行校准。我们提出 SWE-TaskFlow，一种用于转换任何源自 issue 的基准测试的方法：它保留已验证的任务和测试，同时通过提示拆分和可验证的仓库问答将交互引导至目标 Task Flow，并使用 TaskFlow Alignment Score（TFAS）在生成的轨迹中进行选择。在 700 个 SWE-Bench Pro 任务上的试点中，分多个步骤顺序解决任务大约使智能体成本翻倍，而解决率没有稳定变化：交互协议本身就是评估的一个重要维度。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.09633 [cs.LG] |
| （或 arXiv:2610.09633v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09633 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Igor Slinko [查看电子邮件]
[v1]
2026年10月7日星期三 08:08:39 UTC（2,098 KB）
来源：arXiv cs.CL · arxiv.org