arXiv cs.AI· Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen·· 10 小时前AI 评分42
Messier：面向跨基准智能体评估的高分辨率语料库
Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation
AI 导读
Messier 是一个统一语料库，收录 923,158 条记录，覆盖 30 个基准、745 个智能体、11,891 个任务和 71,969 个验证器，并将异构组件标准化为统一 schema。基于该语料库的分析显示，前沿进展在不同基准组间并不均衡：函数调用类评估已基本饱和，编程类提升最快，企业工作流仍最具挑战性。反事实重打分还表明，报告性能对验证器结果的聚合方式高度敏感。
正文 · AI 翻译
摘要：由于任务、脚手架、验证器和评分规则彼此割裂，全面评估交互环境中的 AI 智能体十分困难。遗憾的是，现有统一这些评估的工作在规模和领域上都有限，导致必须进行代价高昂的重新运行，且已有数据无法相互比较。我们推出 Messier，一个包含 923,158 条记录的统一语料库，覆盖 30 个基准、745 个智能体、11,891 个任务和 71,969 个验证器。Messier 将公开评估结果与六个代表性不足的专业和科学基准上的新运行结果相结合，将其异构组件标准化为统一模式。利用该语料库，我们表明前沿进展在各基准组之间并不均衡：函数调用评估已基本饱和，编程领域提升最快，而企业工作流仍最具挑战性。反事实重评分进一步表明，报告的性能可能对验证器结果的聚合方式高度敏感。最后，我们从语料库中推导出能力分数，其与 Epoch 的评估能力指数排名在 Spearman \r{ho} = 0.84 上相关。这些分数还可针对按领域、职业、动作空间或验证器类型定义的子集进行估计。本质上，Messier 是用于大规模研究智能体性能的可复用资源，也是设计更好评估的基础。
| 主题： | 人工智能（cs.AI）；数据库（cs.DB） |
| 引用为： | arXiv:2607.25891 [cs.AI] |
| （或本版本使用 arXiv:2607.25891v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.25891 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Stefan Krsteski [查看电子邮件]
[v1]
2026年7月28日星期二 15:50:19 UTC（205 KB）
[v2]
2026年8月30日星期日 18:22:18 UTC（202 KB）
[v3]
2026年11月10日星期二 10:32:04 UTC（202 KB）
来源：arXiv cs.AI · arxiv.org