Messier 发布跨基准智能体评测语料库

Stefan Krsteski 等作者发布 Messier 统一评测语料库，收录 923,158 条记录，覆盖 30 个基准、745 个智能体、11,891 个任务和 71,969 个验证器，并将异构组件标准化为统一 schema。 基于该语料库的分析显示，前沿进展在不同基准组间并不均衡：函数调用类评估已基本饱和，编程类提升最快，企业工作流仍最具挑战性。反事实重打分还表明，报告性能对验证器结果的聚合方式高度敏感。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。