arXiv cs.CL· Seungone Kim, Jiayi Geng, Young-Jun Lee, Bo Liu, Juyoung Suk, Nicholas Lubbers, Mitchell Wood, Marcus Noack, Yong-Xin Yao, Yuan Shi, Roxana Bujack, Cristina Garcia Cardona, Austin Rodriguez, Ilon Joseph, Woojin Cho, Zora Zhiruo Wang, Chuanyang Jin, Ian Wu, Apurva Gandhi, Tianjian Li, Weiwei Sun, Carolin Lawrence, Kiril Gashteovski, Dongyeop Kang, Jay Shin, Akari Asai, Graham Neubig, Sean Welleck·· 3 天前AI 评分62
Into the Unknown：在开放科研问题上评测 AI 智能体
Into the Unknown: Benchmarking AI agents on open scientific research problems
AI 导读
研究者提出 Into the Unknown 基准，给智能体一篇科学论文和一个研究方向，要求其撰写后续论文。他们与 US Department of Energy（DOE）国家实验室的科学家合作，由后者提供各自工作中未发表的后续方向及投稿必须满足的条件，并据此形成评分标准。
正文 · AI 翻译
作者：Seungone Kim、Jiayi Geng、Young-Jun Lee、Bo Liu、Juyoung Suk、Nicholas Lubbers、Mitchell Wood、Marcus Noack、Yong-Xin Yao、Yuan Shi、Roxana Bujack、Cristina Garcia Cardona、Austin Rodriguez、Ilon Joseph、Woojin Cho、Zora Zhiruo Wang、Chuanyang Jin、Ian Wu、Apurva Gandhi、Tianjian Li、Weiwei Sun、Carolin Lawrence、Kiril Gashteovski、Dongyeop Kang、Jay Shin、Akari Asai、Graham Neubig、Sean Welleck
摘要：AI 智能体能否对开放科学问题开展研究？我们提出 Into the Unknown，这是一个基准，为智能体提供一篇科学论文以及一个待探索的研究方向，并让其撰写一篇后续论文。我们与美国能源部（DOE）国家实验室的科学家合作，他们每人从自己的工作中贡献一个未发表的后续研究方向，以及投稿必须满足的必要条件。虽然总体而言评估后续论文的质量颇具挑战，但利用这些条件形成评分标准，可使对没有参考答案的研究问题的评估更易处理。我们让九个前沿智能体各撰写 15 篇后续论文，涵盖量子计算、等离子体物理、计算化学、材料科学和科学机器学习领域。135 篇投稿中无一满足所有条件，114 篇未通过我们的诚信检查，最常见的原因是论文声称了从未做过的工作或报告了与记录证据相矛盾的数字。总体而言，智能体很容易生成看似后续论文的论文，但没有一篇达到领域科学家的标准，仍有很大提升空间。我们的代码和数据已公开。
| 评论： | 审稿中的预印本 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19159 [cs.AI] |
| （或 arXiv:2610.19159v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19159 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Seungone Kim [查看邮箱]
[v1]
2026年10月13日星期二 20:25:59 UTC（4,453 KB）
来源：arXiv cs.CL · arxiv.org