arXiv cs.AI· Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li·· 11 小时前AI 评分45
SWE-Shift：评估编码智能体在执行中变化的工作空间中的表现
SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
AI 导读
SWE-Shift 是一个评估编码智能体在执行中途遭遇任务相关变更时表现的基准，包含 12 类变更、120 个场景，每场景在 9 个预定干预位置评测。17 个编码智能体系统的 Shifted 成功率均低于 Clean，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率仅 20.34%。
正文 · AI 翻译
摘要：仓库级编码基准大多假设任务和环境在执行过程中保持不变。在软件开发中，代码、依赖项、运行时状态和需求可能在智能体仍在工作时发生变化。我们推出 SWE-Shift，这是一个用于评估编码智能体在此类执行中途变化下表现的基准。从相同的已保存历史和工作区出发，Clean 续接在无干预的情况下继续进行，而匹配的 Shifted 续接则会收到与任务相关的更新。成功需要完成当前任务、保留仍然有效的工作，并满足适用的状态和证据检查。该基准包含 12 个变化类别下的 120 个场景，每个场景在九个预定的干预位置进行评估。我们评估了 17 个编码智能体系统，它们的 Shifted 成功率均低于 Clean。GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率为 20.34%。工具/会话变化和过时证据在所有系统中均导致配对成功率为零。对于某些系统，较晚位置的配对成功率较低，而对另一些系统则较高。这些结果表明，在未变化任务上的成功可能与更新后无法保留工作、恢复状态或刷新证据的情况并存。
| 评论： | 47 页。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32196 [cs.AI] |
| （或 arXiv:2610.32196v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32196 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Victor Shea-Jay Huang [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 05:47:59 UTC（1,841 KB）
来源：arXiv cs.AI · arxiv.org