arXiv cs.AI· Zengji Tu, Xiang Liu, Jiarui Sun, Ruoyu Wu, Zhihui Qi, Chengda Wu, Yutao Zhou, Bo Yang, Ziyan Zhang, Jialong Wu, Liang Chen, Kuan Li, Steven Dillmann, Yuanqi Du, Soojung Yang, Shizhe Diao, Jianjun Wu, Junlang Liu, Xuming Hu, Lin Chang, Baobao Chang, Xiaowen Chu, Philip S. Yu, Tong-Yi Zhang, Hao Cheng, Qin Han, Yanye Feng, Chenru Duan, Chuncheng Liu, Yan Liu, Yuchen Gao, Zhao Li, Ronghua Zhang, Tory Xu, Renjian Song, Yaokai Fu·· 1 天前AI 评分52
Science Prediction Universe 基准发布：100 个公开与 16 个私有湿实验任务评测智能体预测能力
Science Prediction Universe
AI 导读
研究团队提出 Science Prediction Universe（SPU）基准，包含化学、材料科学、生物与医学领域的 100 个公开验证任务，以及 16 个来自未发表湿实验的私有任务，要求智能体根据实验设置和候选条件按测量结果排序。
正文 · AI 翻译
作者：Zengji Tu、Xiang Liu、Jiarui Sun、Ruoyu Wu、Zhihui Qi、Chengda Wu、Yutao Zhou、Bo Yang、Ziyan Zhang、Jialong Wu、Liang Chen、Kuan Li、Steven Dillmann、Yuanqi Du、Soojung Yang、Shizhe Diao、Jianjun Wu、Junlang Liu、Xuming Hu、Lin Chang、Baobao Chang、Xiaowen Chu、Philip S. Yu、Tong-Yi Zhang、Hao Cheng、Qin Han、Yanye Feng、Chenru Duan、Chuncheng Liu、Yan Liu、Yuchen Gao、Zhao Li、Ronghua Zhang、Tory Xu、Renjian Song、Yaokai Fu
摘要：人类长期以来一直试图解释自然现象。可靠地预测实验结果，是检验我们对产生这些结果的过程理解程度的核心方式。如果通用人工智能（AGI）要超越人类的科学能力，它也必须比人类更可靠地预测实验结果。这种能力可以加速各学科的科学发现，帮助应对人类最紧迫的挑战，并改善人类福祉。我们提出了 Science Prediction Universe（SPU），这是一个隐藏实验结果基准，包含来自化学、材料科学、生物学和医学的 100 个公开验证任务，以及来自未发表湿实验室实验的 16 个私有任务。给定实验设置和候选条件，智能体可利用其所需的任何资源，按某一测量结果对候选条件进行排序。
我们评估了十三种智能体配置，涵盖十二个前沿模型，并跨两个运行框架（Codex 和 Claude Code）。当前智能体远未达到饱和湿实验室结果预测的程度，不同模型之间存在显著性能差异：在公开基准上，各配置分为两个明显层级，任务调整后的 Spearman 相关系数从最低配置的 0.227 到最佳配置的 0.478。对 1,155 条已评分公开轨迹（227,103 次工具调用）的分析表明，瓶颈在于科学判断而非工具执行：智能体依赖共享的单调先验，彼此之间的一致性远高于与实验现实的一致性（0.52 对 0.33），并且经常计算不影响最终结果的简单物理或化学代理指标。
| 评论： | 52 页，28 幅图，7 张表。项目页面：this https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.15049 [cs.AI] |
| （或 arXiv:2611.15049v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15049 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Xiang Liu [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 05:23:11 UTC（2,965 KB）
来源：arXiv cs.AI · arxiv.org