arXiv cs.CL· Niall Dalton·· 10 小时前AI 评分29
后训练如何影响语言模型的口头算法计算能力
How Post-Training Influences Verbalized Algorithmic Computation in Language Models
AI 导读
研究追踪 Olmo-3-7B-Instruct 在连续 SFT、DPO、RLVR 检查点上的多位数加法表现，发现 SFT 与 RLVR 的探针从内部激活中恢复进位信息的准确率相近，但操纵该信息无法可靠控制模型输出。
正文 · AI 翻译
摘要：后训练提升了语言模型的推理能力，但它如何改变内部信息的使用以及言语化的思维链（CoT）仍不清楚。我们研究 Olmo-3-7B-Instruct 在多位数加法上连续的 SFT、DPO 和 RLVR 检查点，使用进位值作为已知的中间状态。探针在 SFT 和 RLVR 中以相似的准确率从内部激活中恢复进位信息，尽管操纵这些信息并不能可靠地控制模型输出。相比之下，言语化推理的有用性有所不同：RLVR 产生的 CoT 在接收检查点上比 SFT 或 DPO 产生的 CoT 获得更高的准确率。我们还表明，在 RLVR 之后，与进位相关的陈述比匹配的随机对照获得更高的重要性分数。DPO 对与进位相关的陈述表现出相似的敏感性，但没有可比的准确率提升。这些结果表明，后训练以有意义的方式改变了书面推理的有用性及其对内容的敏感性，尽管更高的敏感性并不一定伴随着更好的问题表现。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13552 [cs.CL] |
| （或 arXiv:2611.13552v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13552 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Niall Dalton [查看电子邮件]
[v1]
2026年11月10日星期二 04:12:09 UTC（293 KB）
来源：arXiv cs.CL · arxiv.org