arXiv cs.CL· Shuochen Chang, Qianli Ma, Yibo Miao, Qingyang Liu, Bingjie Gao, Haonan Zhao, Siyu Sun, Yulin Sun, Han Zhao, Jiangtong Li·· 10 小时前AI 评分40
Switch-SWE：编码智能体在未完成任务间切换时还能保持专注吗？
Switch-SWE: Do Coding Agents Hold Focus When Switching Between Unfinished Tasks?
AI 导读
研究团队提出 Switch-SWE 基准，用于衡量编码智能体在同一仓库多个未完成任务交错进行时能否恢复先前任务。该基准包含来自 19 个 Python 仓库的 200 个焦点任务、400 组匹配会话规格；7 个编码智能体在任务交错后焦点任务解决率平均下降 11.5 个百分点，区间为 6.0 至 15.0 个百分点。
正文 · AI 翻译
摘要：软件开发会话往往涉及多个未完成的任务，而不是将一个议题一路推进到完成。当编码智能体承担仓库级开发时，它们需要在插入其他工作之后恢复先前任务的需求和部分进展。现有的仓库级基准通常只对一个议题到补丁的片段进行评分，并不直接衡量智能体是否能在同一仓库中推进其他未完成工作后恢复某个任务。我们提出 \textbf{\ourmethod}，这是一个用于会话中焦点任务恢复的基准，这些会话交错包含来自同一源仓库的未完成任务，并为每个任务保留持久检出。每个焦点任务都在匹配的未中断会话和切换会话中评估，二者具有相同的焦点需求和可执行验证器。切换会话交错包含同一仓库中其他未完成任务的按序阶段，而只对最终的焦点补丁评分。\ourmethod~包含来自 19 个 Python 仓库的 200 个焦点任务，这些任务从议题、拉取请求和审查历史中重建，并呈现为 400 个匹配的会话规范。在 7 个编码智能体上，交错的未完成工作产生了平均 11.5 个百分点的焦点任务解决差距，范围为 6.0 到 15.0 个百分点。轨迹分析识别出跨任务需求混淆和任务状态丢失是反复出现的恢复行为。我们引入一个插件式上下文管理模块，它选择与任务相关的历史并维护简洁的任务状态摘要。在 OpenCode 上，该模块在评估的模型中使同仓库任务切换下的焦点任务完成率提高了 5.5 到 15.5 个百分点。代码可在 此 http URL 获取。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02017 [cs.CL] |
| （或 arXiv:2611.02017v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02017 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuochen Chang [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 16:04:16 UTC（784 KB）
来源：arXiv cs.CL · arxiv.org