arXiv cs.CL· Antyabha Rahman, Akshaj Gurugubelli, Omar Ankit, Kevin Zhu, Aishwarya Balwani·· 10 小时前AI 评分24
研究揭示 RL 与 SFT 微调模型数学推理表现差异的表征根源
Probing the Origins of Reasoning Performance: Representational Quality for Mathematical Problem-Solving in RL vs. SFT Fine-Tuned Models
AI 导读
研究对比 DeepSeek-Math-RL 与 DeepSeek-Math-Instruct 发现，逐层线性探针在 RL 训练模型上预测答案正确性的准确率更高，且均值消融实验显示 DeepSeek-Math-RL 的准确率下降随层深增加，而 Instruct 版无此现象。
正文 · AI 翻译
摘要：经强化学习（RL）训练以逐步推理的大型语言模型，在数学推理任务上日益显示出优于监督微调（SFT）模型的表现。然而，这一提升的机制基础仍不清楚。因此我们提出：究竟是哪些内部表征差异，使经 RL 训练的推理语言模型能够更好地推理？我们的工作给出两条主要证据：第一，在合成数学问题上，逐层线性探针在经 RL 训练的推理语言模型中预测答案正确性的准确率往往高于指令微调模型，尽管仅凭输出长度在两个模板上即可与 DeepSeek-Math-RL 探针持平。第二，均值消融研究表明，DeepSeek-Math-RL 的准确率下降随层深增加而上升，而 DeepSeek-Math-Instruct 则不然。最后，我们分析了经 RL 训练的推理语言模型与指令微调模型在各准确率区间上的 token 数量变异性，以衡量 token 数量在更难问题上是否变化更大。token 数量在较低准确率问题上往往变化更大，不过在 DeepSeek-Math-Instruct 中仅在纳入截断响应时如此。在高准确率下，我们观察到 DeepSeek-Math-RL 的变异性低于 DeepSeek-Math-Instruct，并观察到 Olmo-3-Think 的变异性高于 Olmo-3-Instruct。
| 评论： | 第二届 XAI4Science 研讨会，AAAI 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.26119 [cs.AI] |
| （或本版本的 arXiv:2607.26119v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.26119 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Antyabha Rahman [查看邮箱]
[v1]
2026年7月28日 星期二 17:42:42 UTC（4,100 KB）
[v2]
2026年11月10日 星期二 03:25:11 UTC（346 KB）
来源：arXiv cs.CL · arxiv.org