arXiv cs.CL· Baohang Li, Xiaocheng Feng, Bing Qin·· 10 小时前AI 评分34
TandemBench：多智能体协作决策模型基准测试
TandemBench: Benchmarking Decision Models for Multi-Agent Collaboration
AI 导读
研究者推出 TandemBench，包含 1200 道多智能体烹饪场景问题，用于评测决策模型在团队分工与并行行动上的选择能力。评测覆盖 40 个原生决策模型与 10 个通用大语言模型，最佳原生决策模型决策准确率为 62.50%，但在最优性验证上接近随机水平。配对测试显示部分模型无论是否已给出最优方案都会声称存在更优替代，说明单看决策准确率会掩盖系统性判断错误。
正文 · AI 翻译
摘要：决策模型在路由和动作选择等任务中从预定义选项中进行选择。在多智能体协作中，决策决定了成员如何分工、交换资源并并行行动。我们推出 TandemBench，这是一个包含 1,200 个问题的基准，涵盖多智能体烹饪场景，其中协调选择会影响目标完成。模型接收完整的全局信息和候选团队计划，参考答案通过执行和精确搜索确定。模型选择一个最优团队计划，并在保留或移除该计划的配对变体中，判断在所提供的选项之外是否存在更好的安排。我们评估了 40 个原生决策模型，并将它们与 10 个通用语言模型进行比较。最佳原生决策模型达到 62.50% 的决策准确率。原生决策模型在最优性验证方面仍接近随机水平。配对测试揭示，一些模型无论是否已存在最优计划，都会报告存在更好的替代方案。这些发现表明，仅凭团队计划决策准确率可能掩盖在判断所提供选项是否包含最优安排时的系统性错误。数据集和评估代码可在 此 https URL 公开获取。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05827 [cs.CL] |
| （或 arXiv:2611.05827v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05827 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Baohang Li [查看电子邮件]
[v1]
2026年11月4日星期三 02:08:57 UTC（1,622 KB）
来源：arXiv cs.CL · arxiv.org