跳到正文
arXiv cs.CY· Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, Jiaxuan You·· 23 小时前AI 评分38

MultiAgentBench:评估 LLM 智能体的协作与竞争

MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents

AI 导读

MultiAgentBench 是一个评估 LLM 多智能体系统协作与竞争的综合性基准,采用基于里程碑的关键绩效指标衡量任务完成度与协作质量。评测覆盖 star、chain、tree、graph 等协调拓扑及群体讨论、认知规划等策略,gpt-4o-mini 取得平均最高任务分数,graph 结构在研究场景中表现最佳,认知规划将里程碑达成率提升 3%。代码与数据集已公开。

正文 · AI 翻译

作者:Kunlun Zhu、Hongyi Du、Zhaochen Hong、Xiaocheng Yang、Shuyi Guo、Zhe Wang、Zhenhailong Wang、Cheng Qian、Xiangru Tang、Heng Ji、Jiaxuan You

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)作为自主智能体已展现出卓越能力,但现有基准测试要么聚焦于单智能体任务,要么局限于狭窄领域,无法捕捉多智能体协作与竞争的动态特性。本文提出 MultiAgentBench,一个旨在跨多样交互场景评估基于 LLM 的多智能体系统的综合基准。我们的框架不仅衡量任务完成情况,还使用新颖的基于里程碑的关键绩效指标来评估协作与竞争的质量。此外,我们评估了多种协调协议(包括星型、链型、树型和图拓扑)以及群体讨论和认知规划等创新策略。值得注意的是,gpt-4o-mini 取得了最高的平均任务得分,在研究场景中图结构在协调协议中表现最佳,而认知规划将里程碑达成率提高了 3%。代码和数据集已公开于 此 https URL。
评论: 此 https URL
主题: 多智能体系统(cs.MA);人工智能(cs.AI);计算与语言(cs.CL);计算机与社会(cs.CY)
引用为: arXiv:2503.01935 [cs.MA]
  (或 arXiv:2503.01935v2 [cs.MA] 用于此版本)
  https://doi.org/10.48550/arXiv.2503.01935

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Kunlun Zhu [查看邮箱]
[v1] 2025年3月3日星期一 05:18:50 UTC(5,997 KB)
[v2] 2026年11月18日星期三 17:51:17 UTC(2,005 KB)

来源:arXiv cs.CY · arxiv.org