Agents' Last Exam（ALE）：面向长周期经济价值任务的 AI 智能体基准
Agents' Last Exam
研究者发布 Agents' Last Exam（ALE）基准，用于评估 AI 智能体在长周期、有经济价值、可验证结果的真实世界任务上的表现。ALE 与 250+ 行业专家合作开发，参照 O*NET / SOC 2018 覆盖 13 个行业集群、55 个子领域、1K+ 任务。当前主流 harness 与 backbone 配置下，最难层级的平均完整通过率低于 1%。
作者：Yiyou Sun, Xinyang Han, Weichen Zhang, Xiang Liu, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Zhaowei Zhang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng, Ying Yan, Bo Liu, Hanson Wen, Mingyang Xu, Xiaoyuan Liu, Zimeng Chen, Weiyan Shi, Amanda Dsouza, Vincent Sunn Chen, Jingxu Xie, Sheldon Huang, Dewen Lei, Hanxuan Zhang, Zonglin Di, Patrick Bryant, Carl Boettiger, Yamini Rangan, Bradley Rothenberg, Kyle Steinfeld, Arvind Rao, Tapio Schneider, Georgios Yannakakis, Laure Zanna, Kaan Ozbay, Ida Sim, Tarek Zohdi, George Em Karniadakis, Jack Gallant, Teresa Head-Gordon, Chris Yuhao Liu, Rongwang Hu, Yafei Cheng, Aras Bacho, Zengyi Qin, Alan Yuille, Yixiong Chen, Hao Liu, Lin Zeng, Bo Chen, Zhendong Li, Litian Gong, Shashank Muralidhar Bharadwaj, Thorben Jansen, Haixiang Tang, Jianhong Tu, Jixian Liu, Maojia Song, Ruheng Wang, Shengcao Cao, Yanxin Zhang, Yingxuan Yang, Zongzheng Zhang, Honglin Bao, Hyunjun Kim, Peiran Xu, Shuo Lu, Zheng Zhang, Zhonghua Wang, Aditya Prakash, Bohan Lyu, Chang Ma, Haoxuan Chen, Hengduan Fan, Molei Tao, Roman Sitelew, Russell Alan Poldrack, Yang Liu, Yang Liu, Yichen Wu, Yuanze Lin, Zhenglu Li, Zibu Wei, Zijiao Chen, Abderrahim Bendahi, Alexander Schubert, Chase Broderick, Chengzhi Liu, Haoran Sun, Haoyang Li, Haoyue Hua, Jiayuan Ding, Jing Huang, Shangding Gu, Tuan Vinh, Xiatao Sun, Yanqiong Jiang
等（另有 257 位作者未显示）
摘要：近期的人工智能系统在广泛的基准测试上取得了强劲结果，但这些进展尚未转化为许多专业领域中具有经济意义的部署。我们认为，这一差距在很大程度上是一个评估问题：广泛使用的基准测试缺乏对真实且具有经济价值的工作流程的持续性能测量。本文介绍了 Agents' Last Exam（ALE），一个旨在评估 AI 智能体在长周期、具有经济价值、可验证结果的真实世界任务上的基准。ALE 与 250 多位行业专家合作开发，涵盖参照 O*NET / SOC 2018（美国联邦职业分类法）定义的非物理行业。它围绕一个任务分类法组织，包含 55 个子领域，归入 13 个行业集群，覆盖 1K+ 任务。当前结果表明，最难的层级仍远未饱和：在主流 harness 和 backbone 配置下，平均完全通过率低于 1%。ALE 被设计为一个活的基准：随着新工作流程和行业被纳入，其任务池持续增长。更广泛地说，ALE 不仅意在成为又一个排行榜，而是作为一种工具，用于弥合基准成功与 GDP 相关影响之间的差距。
| 评论： | 项目网站：this https URL 代码：this https URL |
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.05405 [cs.AI] |
| （或 arXiv:2606.05405v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.05405 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Xiang Liu [查看电子邮件]
[v1]
2026 年 6 月 3 日星期三 20:20:46 UTC（22,645 KB）
[v2]
2026 年 6 月 11 日星期四 10:09:39 UTC（21,947 KB）
[v3]
2026 年 10 月 9 日星期五 08:13:57 UTC（21,947 KB）
来源：arXiv cs.CL · arxiv.org