跳到正文
The Decoder· Matthias Bastian·· 6 天前AI 评分71

Vals AI 研究:AI 智能体团队成本高数倍,质量提升却微乎其微

AI agent teams waste massive tokens for barely measurable quality gains, research finds

AI 导读

评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5,分别以单智能体和智能体团队形式运行,团队成本是单智能体的 1.8 倍到 5.1 倍。

正文 · AI 翻译

跳转到内容

Matthias Bastian

2026年10月11日

Image description

研究发现,AI智能体团队带来的结果几乎不比单个智能体更好。

评估公司Vals AI在“Vibe Code Bench”上测试了GPT-6 Sol和Claude Opus 5.5,分别以单独和团队形式,在两种推理水平下进行:中等和最大推理努力。团队的成本比单个智能体高出1.8倍到5.1倍。

在团队与单个智能体的四次比较中,只有一次显示出统计上显著的改进:GPT-6 Sol在中等推理下,团队得分高出7.3分。在最大推理下,团队设置对Sol和Opus 5.5都没有带来任何真正的优势。结果表明,在大多数情况下,智能体团队的额外成本并不值得,尤其是当模型已经在满算力运行时。

Vals AI的基准测试显示了每个应用的成本与Vibe Code Bench得分的关系。箭头从每个模型的单个智能体指向其在相同推理努力下的团队。团队成本高得多,但得分几乎没有提高。| 图片:Vals AI[

Anthropic在其两项使用Opus 5.5的测试中发现,随着增加更多智能体,质量提升逐渐缩小。更大的团队更快达到给定性能水平,但从10个智能体增加到100个智能体,24小时后得分仅略有提升。在单独的ProgramBench测试中,速度提升伴随着更高的token使用量。

使用Opus 5.5的任务 1个智能体 10个智能体 30个智能体 100个智能体
知识库 0.53 0.70 0.71 0.74
Lean定理证明 0.39 0.66 0.66 0.68

Fable 5.1在Lean定理证明任务上,超过十个智能体时显示出更强的质量提升,但在所有测试中得分仍低于Opus 5.5。在知识库任务上,Fable的得分在从30个智能体扩展到100个智能体时实际上略有下降。

更多智能体换来速度,而非更好的输出

OpenAI研究员Noam Brown在Dwarkesh Podcast中确认,多智能体系统主要换来的是速度,而非更好的质量。四个智能体解决任务的速度快了一倍,但成本也翻了一倍。在16个智能体时,这一模式依然成立,但效率略有下降。

他说,这种效果在很大程度上取决于任务。网络研究和数学可以很好地并行化,但写小说则不行。把10,000个智能体扔给一部小说,就像把10,000个人扔给它一样毫无意义。Brown承认,扩展到极大量智能体在很大程度上仍未被探索,因为成本实在太高。

OpenAI开发者Eric Provencher最近正是出于这个原因警告不要使用智能体集群。他认为,它们很可能是在浪费钱,因为智能体之间的协调会崩溃。他称之为协调税。

没有炒作的AI新闻——由人类精选

订阅THE DECODER,享受无广告阅读、每周AI新闻通讯、我们每年六次的独家“AI Radar”前沿报告、完整档案访问以及评论区访问权限。

立即订阅

  • 完全访问THE DECODER上的每一篇文章
  • 无广告
  • 加入评论和社区讨论
  • 每周通过邮件发送的AI新闻回顾
  • 每年6次:“AI Radar”——深入探讨最重要的AI话题
  • 每日AI新闻,始终最新
  • 我们完整的十年档案
  • 由拥有10年以上AI经验的团队覆盖

来源:The Decoder · the-decoder.com