arXiv cs.CL· Zerui Chen, Qinggang Zhang, Qichuan Liu, Zhishang Xiang, Zhimin Wei, Yunbo Tang, Zhuo Li, Jinsong Su, Zhihong Zhang·· 10 小时前AI 评分31
MAC-Bench：通过互联任务评测多智能体协作
MAC-Bench: Benchmarking Multi-Agent Collaboration via Interconnected Tasks
AI 导读
MAC-Bench 是一个通过互联任务评测多智能体协作的基准，不预设智能体角色或通信协议，而是把协作需求嵌入任务依赖与共享资源约束中。它从选定基准任务中挖掘局部协作模式与全局任务结构，经粗到细组合重组成任务图，并在可执行环境中实例化，支持对部分进展和完整任务解决的自动验证。
正文 · AI 翻译
摘要：基于大语言模型（LLM）的多智能体系统（MAS）通过在智能体之间分配工作并协调它们对共同目标的贡献来处理具有挑战性的任务。因此，评估这些系统需要基准测试，不仅要评估任务解决性能，还要评估处理相互依赖工作的能力。然而，现有基准测试往往强调任务难度而缺乏实质性的协作要求，或者只评估有限范围的预定义协作模式。在本文中，我们提出了 MAC-Bench，一个通过相互关联的任务评估多智能体协作的综合基准。MAC-Bench 不强制预定义的智能体角色或通信协议，而是将协作要求直接嵌入任务依赖关系和共享资源约束中。具体而言，我们从选定的基准任务中在两个层面上挖掘可复用的协作结构。局部协作模式捕获子任务之间反复出现的交互，而全局任务结构则刻画这些交互如何贡献于完整的工作流程。通过从粗到细的组合，这些结构被重新组合成结合不同协作要求的任务图。任务在可执行环境中实例化，并对部分进展和完整任务解决进行自动验证。
| 主题： | 多智能体系统（cs.MA）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01728 [cs.MA] |
| （或 arXiv:2611.01728v1 [cs.MA] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01728 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zerui Chen [查看邮箱]
[v1]
2026年11月1日星期日 09:24:22 UTC（2,920 KB）
来源：arXiv cs.CL · arxiv.org