FrontierPhysics：评估 AI 智能体端到端物理研究能力的基准
FrontierPhysics: Evaluating Agents for End-to-End Physics Research
研究团队推出 FrontierPhysics，一个由 42 位物理学家基于自身研究设计的 56 项端到端任务基准，覆盖理论、计算与实验物理九大领域，要求智能体完成文献调研、研究规划、实验与论文撰写。在 22 个模型、26 种配置中，没有任何配置在 168 次 rollout 中通过超过 46 次。人工审查显示，前沿智能体的主要短板是推理不够严谨和专家直觉有限，而非物理知识或执行错误。
作者：Bingran You、Wenjun Ke、Ria Rosenauer、Bo Liu、Wenbo Chen、Min Chen、Shuqi Xu、Yue Ma、Jiechao Feng、Bo Chen、Xiangkai Sun、Jiarui Liu、Jinen Guo、Zeyu Zhou、Xu Huang、Zhuohan Li、Haoyu Li、Heguang Lin、Lijie Ding、Yadong Zeng、Kangqi Zhang、Xinge Liu、Hanwen Liu、Zhenghong Li、Alexander von Recum、Yuchen Zhu、Felix Schwarzfischer、Yizhou Zhao、Jicheng Wang、Binxu Li、Qian Yu、Chan Li、Cheng Dai、Di Wang、Haoyu Zhang、Jiankai Sun、Kaituo Feng、Mian Qin、Ruihong Yin、Yiqun Luo、Weiwei Wu、Shihong Pan、Tsung Yeh Hsieh、Xiao Huang、Yan Zhang、Sihan Li、Zirui Ren、Zengji Tu、Kyoung Whan Choe、Ke Sun、Vincenzo Galia、Vaisakhi Mishra、Jiashu He、Hongyang Wang、Zhiheng Yang、Shubham Gaur、Yifan Gu、Shuyi Wang、Zihao Zuo、Steven Dillmann、Yiyou Sun、Xinyang Han、Hanchung Lee、Molei Tao、Yue Zhao、Shilong Liu、Yuchen Wu、Xuandong Zhao、Xiangyi Li、Florian Brand、Gerbrand Ceder、Hartmut Haeffner
摘要：AI 智能体在物理学研究中正发挥着越来越重要的作用。然而，现有的物理学基准仅评估固定问题、孤立的子任务，或在给定解法的情况下复现论文，很少在检验正确性的同时考察研究质量。我们推出 FrontierPhysics，这是一个端到端基准，包含由 42 位物理学家基于自身研究设计的 56 项任务，覆盖理论物理、计算物理和实验物理的九个领域。每项任务要求智能体查阅文献、制定研究计划、开展研究与实验，并产出结构化输出和科学手稿。FrontierPhysics 将确定性验证器与专家撰写的评分标准相结合，评估智能体的研究是否正确且可发表。在 26 种配置下的 22 个模型中，没有任何配置在其 168 次运行中通过超过 46 次。对智能体轨迹的人工审查表明，前沿智能体的主要弱点是推理不够严谨和专家直觉有限，而非物理学知识欠缺或执行错误。
| 评论： | 41 页（正文 10 页），19 幅图，11 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06910 [cs.AI] |
| （或 arXiv:2611.06910v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.06910 由 DataCite 签发的 arXiv DOI（待注册） |
提交历史
发件人：Bingran You [查看邮箱]
[v1]
2026年11月4日 星期三 18:56:22 UTC（2,848 KB）
来源：arXiv cs.AI · arxiv.org