arXiv cs.AI· Zhiyi Li, Sihan Hu, Tianning Xiao, Xiansheng Cai, Xiaojun Tan, Youjin Deng, Kun Chen·· 9 天前AI 评分31
OpenProblemBench：在基础理论科学开放问题上评测 AI
OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences
AI 导读
OpenProblemBench 是一个包含 82 个未解数学与理论物理问题的基准，每题附研究背景、假设与已有进展，并选取其解答的关键数学或计算主张可被较清晰检验的问题。四个评估模型在无参考解的情况下独立评判提交的正确性、完整性与进展程度，七个配置中 GPT-6-Astra 平均判定解决率最高，为 14.0%，全尺寸开源模型为 5.5-6.7%，Flash 模型为 2.4-3.7%。
正文 · AI 翻译
摘要：通用人工智能的下一个前沿是攻克尚未解决的科学问题，这需要能够评估在既有知识之外所取得进展的基准。我们提出 OpenProblemBench，这是一个包含 82 个未解决问题的基准，取自数学和理论物理文献。每个问题都提供了研究该问题所需的研究背景、假设和已有进展。我们选择那些所提出的解决方案能够对其关键数学或计算主张进行相对清晰检验的问题。四个评估模型在没有参考答案的情况下，独立评估每份提交的正确性、完整性和进展程度。在七个被评估的配置中，GPT-6-Astra 取得了最高的平均判定解决率 14.0%，而被评估的完整规模开源模型为 5.5-6.7%，Flash 模型为 2.4-3.7%。案例比较将更强的结果与问题表征的变化、超越有限证据的一般性论证，以及完成解答所需步骤的证明联系起来。通过将评估建立在研究文献中产生的问题之上，OpenProblemBench 为研究 AI 作为基础理论科学贡献者的能力和局限提供了一个平台。
| 评论： | 21 页，4 张图，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11118 [cs.AI] |
| （或 arXiv:2610.11118v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11118 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Sihan Hu [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 02:43:51 UTC（80 KB）
来源：arXiv cs.AI · arxiv.org