arXiv cs.AI· Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu, Sitong Zhou, Dongyang He, Xiaodan Mao, Linxuan Zhang, Tong Zhu, Yafu Li, Fangchen Yu, Peng Ye, Feng He, Yu Cheng, Yun Luo·· 2 天前AI 评分34
PhysClosureBench：用证据支撑的物理研究评估 AI 智能体的科研闭环能力
From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
AI 导读
研究者提出 PhysClosureBench，包含 50 个经专家验证、目标明确的研究任务，覆盖强场、阿秒及邻近物理领域，用 20 项 Atomic Score 衡量局部科研成果，并以 Research Closure（RC0–RC4）评估研究问题的完整解决程度。
正文 · AI 翻译
作者：Yijia Mao、Song Dai、Tao Chen、Xiangyu Lu、Linqian Zeng、Chenxi Hu、Sitong Zhou、Dongyang He、Xiaodan Mao、Linxuan Zhang、Tong Zhu、Yafu Li、Fangchen Yu、Peng Ye、Feng He、Yu Cheng、Yun Luo
摘要：AI 智能体能否组织出能得出有充分支撑结论的科学研究？为评估这一能力，我们提出了 PhysClosureBench，这是一个包含 50 个经专家验证、目标明确的研究任务的基准，涵盖强场、阿秒及邻近物理领域。每个任务都规定了研究目标和基本科学约束，同时让智能体自行组织研究，并决定如何生成和验证回答问题所需的证据。20 项标准的 Atomic Score 衡量局部科学成果，而 Research Closure（RC0--RC4）则根据不可或缺的证据要求和适用范围条件是否得到满足，评估研究在多大程度上解决了指定的研究问题。我们评估了七个前沿 LLM，其中 Claude-Opus-5 取得了最高的平均 Atomic Score（6.29/10），但仅在 32.7% 的尝试中达到 RC4。在整个基准中，36.2% 的至少获得 8/10 分的尝试仍未达到 RC4，而所有七个模型在三次运行中达到 RC4 的任务数量都明显少于至少一次运行中达到 RC4 的任务数量。案例层面的分析进一步说明了，对生成结果的误读以及未解决的物理适用性限制如何导致不完整的闭环。总之，这些结果揭示了 AI 智能体的局部科学成果与其实现完整研究闭环的能力之间持续存在的差距。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21767 [cs.AI] |
| （或使用 arXiv:2610.21767v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.21767 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yi-Jia Mao [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 12:23:22 UTC（1,157 KB）
来源：arXiv cs.AI · arxiv.org