arXiv cs.AI· Qi Cheng, Rongchao Dong, Shengyu Chen, Licheng Liu, Dan Lu, Zhengzhang Chen, Wei Cheng, Yiqun Xie, Haifeng Chen, Xiaowei Jia, Haoyu Wang·· 10 天前AI 评分29
ST-Bench：面向科研任务的多智能体系统生成空间-时间基准
ST-Bench: A Spatial-Temporal Benchmark for Multi-Agent System Generation on Scientific Research Tasks
AI 导读
研究团队推出 ST-Bench，用于检验 LLM 多智能体系统（MAS）在真实科学数据分析中是否优于单智能体。该基准包含 100 个源自水文学、农业和湿地甲烷研究的数据科学任务，扩展为 2,067 条查询并经领域专家验证。在 GPT-5 基座下评测五种 MAS 生成方法，十种配置中九种超过最廉价的单智能体基线，最强配置综合得分接近其三倍，但推理时间约为四倍；增益主要来自覆盖率而非指标质量。
正文 · AI 翻译
作者：Qi Cheng、Rongchao Dong、Shengyu Chen、Licheng Liu、Dan Lu、Zhengzhang Chen、Wei Cheng、Yiqun Xie、Haifeng Chen、Xiaowei Jia、Haoyu Wang
摘要：基于 LLM 的多智能体系统（MAS）的快速进展表明，在编码、数学和问答任务上，它们大幅优于单智能体，因为这些任务中可执行测试提供了二元成功信号。这一优势能否迁移到真实的科学数据分析中仍未经检验。我们提出 ST-Bench，一个旨在回答两个问题的基准：MAS 在复杂科学数据分析任务上是否优于单智能体；如果是，优势有多大、额外成本是多少。ST-Bench 包含 100 个数据科学任务，改编自已发表的水文学、农业和湿地甲烷研究等地球科学研究，并扩展为 2,067 个查询，这些查询基于其他已发表研究并经过领域专家验证。使用 ST-Bench，我们在两种训练协议下评估了五种近期的 MAS 生成方法，并与相同 GPT-5 主干上的单智能体基线进行对比。十种 MAS 配置中有九种超过最廉价的单智能体基线，最强配置的综合得分接近其基线三倍。这一提升主要归因于覆盖率：训练后的工作流在更大比例的查询上产生符合实际的数值指标，而在产生符合实际输出的条件下，这些指标的质量与单智能体基线相当。最强配置所需的推理时间约为单智能体的四倍，而更经济的工作流以不到两倍的成本获得了大部分收益。MAS 专业化对科学数据分析带来了可衡量的收益，但该收益是有条件的，而非普遍适用。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07763 [cs.AI] |
| （或 arXiv:2610.07763v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07763 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qi Cheng [查看邮箱]
[v1]
2026年10月6日星期二 04:59:49 UTC（299 KB）
来源：arXiv cs.AI · arxiv.org