arXiv cs.AI· Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Zhenyu Wen, Tao Lin·· 6 天前AI 评分39
多智能体真的更有效吗？评估 LLM 多智能体工作流的准确率与成本
Do More Agents Help? Evaluating Accuracy and Cost in LLM Multi-Agent Workflows
AI 导读
研究团队提出共享评估框架 BenchAgent，用 GPT-4.1 在十个推理、编码与工具使用基准上对比六种多智能体工作流与单智能体基线 BenchAgent Core。
正文 · AI 翻译
摘要：决定是否替换单智能体控制器，需要同时具备任务性能和推理开销两方面的证据。我们提出了 BenchAgent，一个共享评估框架，并将六种多智能体工作流配置与其单智能体参考基准 BenchAgent Core 在十个推理、编码和工具使用基准上进行比较。所有配置均使用 GPT-4.1 以及通用的工具和评分接口；Core 执行共享相同的步数限制。我们在固定任务集上通过三次运行测量准确率和记录的 token 使用量，每次运行每个配置有 3,302 个实例。EvoAgent 达到 79.70% 的平均汇总准确率，而 Core 为 76.65%，并在全部三次运行中均超过 Core；其余五个 MAS 落后 1.71-8.76 个百分点。LLM-Debate 在 HumanEval 上提升 9.67 个百分点，但汇总准确率下降 1.96 个百分点，同时消耗的 token 是 Core 的 1.39 倍。ChatEval 在 IFEval 上提升 22.25 个百分点，但汇总准确率落后于 Core，token 消耗为其 4.34 倍。广泛的比较以及对保留响应的针对性分析为工作流选择提供了证据，并指出答案保留和资源分配是后续多智能体优化的方向。
| 评论： | 27 页，包括补充材料。修订了评估和结果；更新了作者列表。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.05670 [cs.AI] |
| （或 arXiv:2606.05670v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05670 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuhang Fu [查看电子邮件]
[v1]
2026 年 6 月 4 日星期四 03:50:47 UTC（3,400 KB）
[v2]
2026 年 10 月 9 日星期五 07:41:21 UTC（2,185 KB）
来源：arXiv cs.AI · arxiv.org