arXiv cs.AI· Yang Liu, Jiaqi Li, Jun Bai, Qianyu Yang, Xiaobo Hu, Tao Peng, Zaiyuan Wang, Ran Tian, Jiayun Dong, Chun Zhang, Zixia Jia, Kaiyuan Chen, Yixin Ren, Yang Liu, Yanglihong Xiao, Lingyue Yin, Tiliang Duan, Ge Zhang, Gang Yao, Hao Chen, Yuan Gong, Jianpeng Jiao, Zilong Zheng·· 9 天前AI 评分36
$OneMillion-Bench：语言智能体离人类专家还有多远？
\$OneMillion-Bench: How Far are Language Agents from Human Experts?
AI 导读
研究者推出 $OneMillion-Bench（$OMB），包含 400 个专家编写的任务，覆盖法律、金融、工业、医疗和自然科学五大领域，用于评估语言智能体在经济相关场景中的表现。
正文 · AI 翻译
作者：Yang Liu、Jiaqi Li、Jun Bai、Qianyu Yang、Xiaobo Hu、Tao Peng、Zaiyuan Wang、Ran Tian、Jiayun Dong、Chun Zhang、Zixia Jia、Kaiyuan Chen、Yixin Ren、Yang Liu、Yanglihong Xiao、Lingyue Yin、Tiliang Duan、Ge Zhang、Gang Yao、Hao Chen、Yuan Gong、Jianpeng Jiao、Zilong Zheng
摘要：随着语言模型（LM）从聊天助手演变为能够进行多步推理和工具使用的长时程智能体，现有基准仍大多局限于结构化或考试式任务，难以满足现实世界的专业需求。为此，我们推出 \$OneMillion-Bench（\$OMB），这是一个包含 400 个由专家精心策划任务的基准，涵盖法律、金融、工业、医疗和自然科学领域，旨在评估智能体在经济上具有重要影响的场景中的表现。与以往工作不同，该基准要求检索权威来源、解决相互矛盾的证据、应用领域特定规则并做出约束性决策，其中正确性既取决于推理过程，也取决于最终答案。我们采用基于评分标准的评估协议，对事实准确性、逻辑连贯性、实际可行性和专业合规性进行评分，并聚焦于专家级问题，以确保智能体之间具有有意义的区分度。总之，\$OMB 提供了一个统一的测试平台，用于评估智能体的可靠性、专业深度，并作为领域密集型场景中实际就绪程度的指标。
| 评论： | NeurIPS 2026（评估与数据集方向）；数据和代码可在此 https URL获取 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用格式： | arXiv:2603.07980 [cs.LG] |
| （或使用 arXiv:2603.07980v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.07980 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yang Liu [查看电子邮件]
[v1]
2026年3月9日星期一 05:32:42 UTC（1,664 KB）
[v2]
2026年10月8日星期四 15:02:13 UTC（4,665 KB）
来源：arXiv cs.AI · arxiv.org