跳到正文
热点事件持续更新

研究者发布多智能体协作决策基准TandemBench

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Baohang Li 等作者提出并发布多智能体协作决策基准 TandemBench,包含 1200 道多智能体烹饪场景问题,用于评测决策模型在团队分工与并行行动上的选择能力。 评测覆盖 40 个原生决策模型与 10 个通用大语言模型。最佳原生决策模型的决策准确率为 62.50%,但在最优性验证上接近随机水平。 配对测试显示,部分模型无论是否已给出最优方案,都会声称存在更优替代,作者据此指出单看决策准确率会掩盖系统性判断错误。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. arXiv cs.CL
    TandemBench:多智能体协作决策模型基准测试

    研究者推出 TandemBench,包含 1200 道多智能体烹饪场景问题,用于评测决策模型在团队分工与并行行动上的选择能力。评测覆盖 40 个原生决策模型与 10 个通用大语言模型,最佳原生决策模型决策准确率为 62.50%,但在最优性验证上接近随机水平。配对测试显示部分模型无论是否已给出最优方案都会声称存在更优替代,说明单看决策准确率会掩盖系统性判断错误。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。