跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 5 小时前AI 评分55

TokenWave AI 发布 SWE-CoWork 编码智能体协作基准

AI 导读

TokenWave AI 发布 SWE-CoWork 基准,用于测试 AI 编码智能体能否像真实团队成员一样协作。该基准覆盖 101 个真实开源仓库、26 个模拟队友、11 种编程语言和 17 种职场工具,82% 的需求掌握在队友手中,智能体需主动询问才能获知要构建什么。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-18 00:37· 41 分钟前AI 评分45

AI 导读

TokenWave AI 发布 SWE-CoWork,用于测试 AI 编码智能体能否像真实团队成员一样协作。该基准覆盖 101 个真实开源仓库、26 个模拟队友、11 种编程语言,82% 的需求掌握在队友手中,智能体需主动询问才能获知要构建什么。

正文 · 原文

编码智能体基准测试开始看起来像新员工入职的第一周。

TokenWave AI 发布了 SWE-CoWork,这是一个新的基准测试,用于检验 AI 编码智能体能否像真实团队成员一样工作。

提前向 GPT-6 Astra 提供完整规格说明,使其通过的检查项提升了 16 个百分点,但它仍然只完整完成了 101 个任务中的 8 个。SWE-CoWork 将编码智能体置于一个模拟真实工作流程的职场环境中,并将每个未通过的检查项关联到具体需求。

大多数编码基准测试会向 AI 智能体提供完整的书面任务,但 SWE-CoWork 将其置于模拟职场中,其中 82% 的需求掌握在队友手中,因此智能体只有询问正确的人才能得知要构建什么。最好的模型通过了约 63% 的单项检查,但完整完成的 101 个任务不足 8%。

引用TokenWave.AI@TokenWaveai

编码智能体能否接手队友正在进行的工作?

隆重推出 SWE-CoWork,这是一个面向编码智能体的基准测试,用于评估其作为数字员工完成长周期软件工程任务的能力。

每项任务都始于模拟职场中的一次简短交接,该职场以真实工程工作流程为模型。智能体会搜索任务板和版本化文档,向队友询问缺失的细节,并在回复改变需要构建的内容时修改代码。

未解决的问题和已确认的需求都可能在智能体交回工作之前丢失。SWE-CoWork 让我们能够通过对话、补丁和测试追踪它们。

101 项任务,覆盖 101 个真实开源仓库。
每个职场 26 个模拟队友。
11 种编程语言。
12 个应用领域。
17 种职场工具。

🌐 网站:tokenwave-ai.github.io/swe-co…
📄 论文:arxiv.org/abs/2611.20218
💻 代码:github.com/TokenWave-AI/swe-c…
🤗 Hugging Face Daily Papers:huggingface.co/papers/2611.20…(如果你觉得有用,欢迎点赞支持!)

在 X 查看被引用的帖子

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news