TokenWave AI 发布 SWE-CoWork 编码智能体协作基准
TokenWave AI 发布 SWE-CoWork 基准,用于测试 AI 编码智能体能否像真实团队成员一样协作。该基准覆盖 101 个真实开源仓库、26 个模拟队友、11 种编程语言和 17 种职场工具,82% 的需求掌握在队友手中,智能体需主动询问才能获知要构建什么。
Rohan Paul· @rohanpaul_ai · X·2026-11-18 00:37· 41 分钟前AI 评分45
AI 导读
TokenWave AI 发布 SWE-CoWork,用于测试 AI 编码智能体能否像真实团队成员一样协作。该基准覆盖 101 个真实开源仓库、26 个模拟队友、11 种编程语言,82% 的需求掌握在队友手中,智能体需主动询问才能获知要构建什么。
正文 · 原文
编码智能体基准测试开始看起来像新员工入职的第一周。
TokenWave AI 发布了 SWE-CoWork,这是一个新的基准测试,用于检验 AI 编码智能体能否像真实团队成员一样工作。
提前向 GPT-6 Astra 提供完整规格说明,使其通过的检查项提升了 16 个百分点,但它仍然只完整完成了 101 个任务中的 8 个。SWE-CoWork 将编码智能体置于一个模拟真实工作流程的职场环境中,并将每个未通过的检查项关联到具体需求。
大多数编码基准测试会向 AI 智能体提供完整的书面任务,但 SWE-CoWork 将其置于模拟职场中,其中 82% 的需求掌握在队友手中,因此智能体只有询问正确的人才能得知要构建什么。最好的模型通过了约 63% 的单项检查,但完整完成的 101 个任务不足 8%。
在 X 查看被引用的帖子编码智能体能否接手队友正在进行的工作?
隆重推出 SWE-CoWork,这是一个面向编码智能体的基准测试,用于评估其作为数字员工完成长周期软件工程任务的能力。
每项任务都始于模拟职场中的一次简短交接,该职场以真实工程工作流程为模型。智能体会搜索任务板和版本化文档,向队友询问缺失的细节,并在回复改变需要构建的内容时修改代码。
未解决的问题和已确认的需求都可能在智能体交回工作之前丢失。SWE-CoWork 让我们能够通过对话、补丁和测试追踪它们。
101 项任务,覆盖 101 个真实开源仓库。
每个职场 26 个模拟队友。
11 种编程语言。
12 个应用领域。
17 种职场工具。🌐 网站:tokenwave-ai.github.io/swe-co…
📄 论文:arxiv.org/abs/2611.20218
💻 代码:github.com/TokenWave-AI/swe-c…
🤗 Hugging Face Daily Papers:huggingface.co/papers/2611.20…(如果你觉得有用,欢迎点赞支持!)
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news