arXiv cs.CL· Qituan Zhang, Guo Chen, Linfeng Zhang, Wenlong Zhang·· 11 小时前AI 评分34
PHYRD：用于复现与扩展理论物理研究的活基准
PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research
AI 导读
PHYRD 是一个理论物理论证活基准，包含 63 道 Reproduce 题和 43 道 Discover 题，分别测试已发表结果的推导与修改理论条件后的推论。
正文 · AI 翻译
摘要：大型语言模型和智能体在高级物理研究中已展现出强大的能力。本文中，我们提出 PHYRD，一个面向理论物理推理的持续更新基准，包含 63 个 Reproduce 问题和 43 个 Discover 问题。Reproduce 测试对已发表结果的推导；Discover 测试修改理论条件后的推论。FormulaForest 构建了带有参考解和子问题级评分细则的任务。在五个模型上，整题准确率在 Reproduce 上为 49.21% 至 68.25%，在闭卷 Discover 上为 18.60% 至 74.42%。借助工具，四个模型能完成更多 Discover 问题，但概念性错误和论证缺失仍然存在。此外，我们的实验结果证明了 FormulaForest 作为合成数据的价值。在 OpenAI 开发的基准 FrontierScience 上，它将 Qwen-35B-A3B 模型的准确率从 61% 提升至 72%。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32575 [cs.CL] |
| （或 arXiv:2610.32575v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32575 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qituan Zhang [查看邮箱]
[v1]
2026年10月23日 星期五 13:03:48 UTC（1,662 KB）
来源：arXiv cs.CL · arxiv.org