arXiv cs.CY· Kunlun Zhu, Hongyi Du, Zhaochen Hong, Xiaocheng Yang, Shuyi Guo, Zhe Wang, Zhenhailong Wang, Cheng Qian, Xiangru Tang, Heng Ji, Jiaxuan You·· 23 小时前AI 评分38
MultiAgentBench:评估 LLM 智能体的协作与竞争
MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents
AI 导读
MultiAgentBench 是一个评估 LLM 多智能体系统协作与竞争的综合性基准,采用基于里程碑的关键绩效指标衡量任务完成度与协作质量。评测覆盖 star、chain、tree、graph 等协调拓扑及群体讨论、认知规划等策略,gpt-4o-mini 取得平均最高任务分数,graph 结构在研究场景中表现最佳,认知规划将里程碑达成率提升 3%。代码与数据集已公开。
正文 · AI 翻译
作者:Kunlun Zhu、Hongyi Du、Zhaochen Hong、Xiaocheng Yang、Shuyi Guo、Zhe Wang、Zhenhailong Wang、Cheng Qian、Xiangru Tang、Heng Ji、Jiaxuan You
摘要:大语言模型(LLM)作为自主智能体已展现出卓越能力,但现有基准测试要么聚焦于单智能体任务,要么局限于狭窄领域,无法捕捉多智能体协作与竞争的动态特性。本文提出 MultiAgentBench,一个旨在跨多样交互场景评估基于 LLM 的多智能体系统的综合基准。我们的框架不仅衡量任务完成情况,还使用新颖的基于里程碑的关键绩效指标来评估协作与竞争的质量。此外,我们评估了多种协调协议(包括星型、链型、树型和图拓扑)以及群体讨论和认知规划等创新策略。值得注意的是,gpt-4o-mini 取得了最高的平均任务得分,在研究场景中图结构在协调协议中表现最佳,而认知规划将里程碑达成率提高了 3%。代码和数据集已公开于 此 https URL。
| 评论: | 此 https URL |
| 主题: | 多智能体系统(cs.MA);人工智能(cs.AI);计算与语言(cs.CL);计算机与社会(cs.CY) |
| 引用为: | arXiv:2503.01935 [cs.MA] |
| (或 arXiv:2503.01935v2 [cs.MA] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2503.01935 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kunlun Zhu [查看邮箱]
[v1]
2025年3月3日星期一 05:18:50 UTC(5,997 KB)
[v2]
2026年11月18日星期三 17:51:17 UTC(2,005 KB)
来源:arXiv cs.CY · arxiv.org