arXiv cs.AI· Nathaniel S. Woodward, Zhiqi Gao, Yurii Kvasiuk, Kendrick M. Smith, Frederic Sala, Moritz M\"unchmeyer·· 12 小时前AI 评分31
小推理模型在量子场论任务上的微调：RL 与 SFT 对比研究
Fine-Tuning Small Reasoning Models for Quantum Field Theory
AI 导读
研究首次在量子场论（QFT）可验证解题任务上对比强化学习（RL）与监督微调（SFT），并构建数据生成管线生成超 2,500 道合成题及来自 arXiv 与教材的人类改编题。
正文 · AI 翻译
摘要：尽管大语言模型（LLM）在理论物理中的应用日益增多，但关于特定领域的物理推理能力在训练过程中如何发展的学术研究却很少。为探究这一问题，我们首次对强化学习与监督微调在理论物理可验证问题求解任务上的表现进行了学术比较。由于开发此类能力所需的开源可验证训练数据十分稀缺，我们构建了一个稳健的数据生成流水线，既能生成合成问题，也能将现有的人工编写问题处理为适合模型训练的形式。我们选择量子场论（QFT）作为主要领域，生成了超过 2,500 个合成问题，并整理了一批来自 arXiv 和标准教学资源的人工改编问题。我们开展了强化学习（RL）和监督微调（SFT）实验，评估性能提升以及对其他物理领域的泛化能力。尽管两种方法在每个数据集上都优于基础模型，但 SFT 的提升集中在分布内的合成任务上，而 RL 泛化能力更好，在人工改编数据集和 TPBench 上优于 SFT。我们对微调前后的模型思维链（CoT）推理进行了广泛分析，以理解推理错误在 RL 和 SFT 过程中如何演变。最后，我们公开发布了数据流水线、可验证的 QFT 训练数据以及约 2 亿 token 的 QFT 推理轨迹。
| Comments: | 在 IOP Science MLST Journal 发表后更新 arXiv，并对原始预印本做了小幅修订 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；高能物理 - 唯象学（hep-ph）；高能物理 - 理论（hep-th） |
| Cite as: | arXiv:2604.18936 [cs.LG] |
| （或使用 arXiv:2604.18936v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.18936 arXiv 颁发的 DOI，经由 DataCite |
|
| Journal reference: | Nathaniel S Woodward et al 2026 Mach. Learn.: Sci. Technol. 7 055029 |
| Related DOI: | https://doi.org/10.1088/2632-2153/aea39e
链接到相关资源的 DOI |
Submission history
来自：Nathaniel Woodward [查看邮箱]
[v1]
2026年4月21日 星期二 00:21:05 UTC（8,617 KB）
[v2]
2026年10月20日 星期二 20:33:23 UTC（8,697 KB）
来源：arXiv cs.AI · arxiv.org