arXiv cs.CL· Wei Minn, Zhensu Sun, Lwin Khin Shar, David Lo·· 6 天前AI 评分34
SWE-Duel：面向编程智能体的自扩展竞技场
SWE-Duel: Towards a Self-Scaling Arena for Coding Agents
AI 导读
SWE-Duel 提出一种自扩展编程智能体竞技场，任务与判定在评测时生成，由 Red-Blue 双方镜像轮换互相出题与修复，避免题目泄漏和饱和。
正文 · AI 翻译
摘要：静态编码基准在发布时即固定不变。随着时间推移，其任务会泄漏到训练数据中，更强的智能体最终会将其饱和。我们认为，基准应当追求自我扩展：其任务和判定标准在评估时创建，因此不存在可提前泄漏的内容，其难度由参与的智能体设定，而非在发布时固定。我们提出 SWE-Duel，一个竞技场，其中两个编码智能体通过镜像的红蓝回合相互评估。在每个回合中，红方智能体在三个上下文隔离的会话中处理一个真实代码仓库。它提出并实现一个新功能及其功能测试，然后在该功能中嵌入一个隐蔽的缺陷以及密封的缺陷触发测试。生成的拉取请求只有在以下条件满足时才会被接纳：(1) 它通过功能测试和仓库现有测试，同时恰好未通过缺陷测试；(2) 同一智能体的全新会话能够盲修复该缺陷，从而排除无法解决的任务。随后蓝方智能体在未被告知存在缺陷的情况下审查该拉取请求。只有当其修订通过全部三个测试套件时它才获胜，然后两个智能体交换角色。我们在五种语言的 15 个仓库上，对 11 个模型-框架参与者进行了 1500 回合的锦标赛。领先者以不同方式获胜。GPT-5.5 搭配 Codex CLI 作为最强求解者排名第一，修复了其审查的 98.3% 的缺陷。Claude Opus 4.8 搭配 mini-swe-agent 作为最强任务作者排名第二，红方胜率为 27.3%。最后，在同一模型家族内，由最新版本编写的任务击败固定参考求解者的频率远高于旧版本（42.9% 对 4.0%），初步表明任务难度随任务编写能力而扩展。
| 评论： | 正在以会议论文形式提交至 ICLR 2027 |
| 主题： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| MSC 分类： | I.2, D.2 |
| 引用为： | arXiv:2610.12569 [cs.CL] |
| （或 arXiv:2610.12569v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12569 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Minn [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 18:01:00 UTC（755 KB）
来源：arXiv cs.CL · arxiv.org