arXiv cs.CL· Tong Liu, Bohan Li, Gongrui Cheng, Zixiong Yu, Yulan He, Volker Tresp·· 14 小时前AI 评分38
LLMs 能解高能理论物理难题，但仍有缺口：QFT-Bench 量子场论评测
LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory
AI 导读
研究团队推出 QFT-Bench，包含 75 道研究生至研究级量子场论（QFT）推导题，覆盖核心子领域，采用符号验证与 LLM 评判结合评分。在 39 个闭源与开源模型上，最强模型准确率超过 95%，但仍在计算、约定和指令遵循上出错，较弱模型则卡在物理概念与推导层面。对 CoT 的监测还显示模型存在明显的推理不忠实：答案正确，推理过程却不足以支撑结论。
正文 · AI 翻译
摘要：除数学和代码之外，大语言模型（LLM）正开始处理传统上需要理论物理学家大量训练才能解决的问题，但这种能力能延伸到何种程度、又会在何处失效，目前仍不清楚。作为推动 LLM 进入高能理论物理的第一步，我们推出 QFT-Bench，这是一个包含 75 道研究生至研究级问题的基准，覆盖量子场论（QFT）核心子领域，需要大量推理与推导。每道题都有明确的目标和闭式参考答案。评估结合符号验证与基于 LLM 的评判。在 39 个专有和开源模型中，前沿模型已在非平凡的 QFT 计算上展现出可观能力，最强模型准确率超过 95%。与此同时，明显差距依然存在。即便是强模型也会在计算、约定和指令遵循上出错，而较弱模型往往在物理概念或推导层面就失败。我们进一步监测模型的思维链（CoT），并表明当前模型表现出不容忽视的推理不忠实，即它们可能得出正确答案，但推理本身并不能为其提供依据和逻辑支撑。这些结果对当前 LLM 在 QFT 中的能力给出了定量评估，也是迈向高能理论物理更广泛评估的第一步。
| 学科： | 高能物理 - 唯象学（hep-ph）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33134 [hep-ph] |
| （或本版本的 arXiv:2610.33134v1 [hep-ph]） | |
| https://doi.org/10.48550/arXiv.2610.33134 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tong Liu [查看邮箱]
[v1]
2026年10月23日星期五 14:07:03 UTC（931 KB）
来源：arXiv cs.CL · arxiv.org