arXiv cs.AI· Lorenz Brehme, Benjamin Steenhoek, Ruth Breu·· 12 小时前AI 评分34
SWE-DIVE：用动态用户模拟评估多轮编码智能体
SWE-DIVE: Multi-Turn Coding Agent Evaluation with Dynamic User Simulation
AI 导读
SWE-DIVE 是一个面向编码智能体的动态交互式评测框架，用于在多轮环境中检验智能体能力。它引入可模拟不同行为模式的用户模拟器，以及判断模拟器输出是否满足初始需求、并引导智能体完成任务的对话校验器。整个框架运行在 Harbor 环境中，负责编排编码智能体、用户模拟器与对话校验器并执行测试环境。
正文 · AI 翻译
摘要：编码智能体通常使用一次性、表述良好的提示词进行评估。诸如 SWE-bench 之类的基准测试使用现有的 GitHub issue 作为编码智能体的输入，并评估该智能体是否成功解决任务。然而，在实际使用场景中，提示词往往不像现有 GitHub issue 那样表述良好或结构清晰。此外，编码智能体会话并不局限于单个提示词；它通常涉及多轮交互，用户会在其中迭代地添加智能体必须完成的新任务和需求。
为了对这些能力进行基准测试，我们开发了 SWE-DIVE，这是一个动态、交互式的验证与评估框架，用于在多轮环境中对编码智能体进行基准测试。为此，我们引入了一个用户模拟器，它可以模拟不同的行为模式并与编码智能体通信。我们还引入了一个对话验证器，用于评估用户模拟器的输出，以确定其是否满足初始需求，并引导智能体成功解决任务。整个框架嵌入在 Harbor 环境中，该环境负责编排编码智能体、用户模拟器和对话验证器，并执行测试环境以确定智能体是否成功解决任务。我们的结果和源代码可在我们的 GitHub 仓库中获取（此 https URL）。
| 评论： | 已被 NeurIPS 2026 研讨会“Grounded User Simulation for Model Evaluation and Training: Diversity, Fidelity, and Validity''（非存档）接收 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30047 [cs.SE] |
| （或 arXiv:2610.30047v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30047 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lorenz Brehme [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 17:06:34 UTC（161 KB）
来源：arXiv cs.AI · arxiv.org