arXiv cs.CL· Zhizhuo Kou, Sizai Hou, Long Chen, Jian Yang, Junyu Luo, Jingshu Peng, Wenkai Zhang, Sirui Han, Yike Guo·· 12 小时前AI 评分31
研究揭示推理模型中的“wait”标记源于训练数据而非强化学习
Inherited, Not Invented: Tracing the Provenance of Wait in Reasoning Models
AI 导读
一项追踪开放模型训练历史的研究发现，零强化学习几乎不会让模型自发产生“wait”标记：在缺乏该词的基座模型上，RL 虽大幅提升 MATH-500 准确率，但“wait”仍近乎缺席。
正文 · AI 翻译
摘要：强化学习（RL）被认为教会了推理模型在重新考虑某一步之前先写出 {wait}，然而 RL 带来的大幅准确率提升并不需要这个词。这种观点可能把 RL 所发现的东西与模型从其训练数据中继承的东西混为一谈。我们通过开放模型的训练历史追踪这个词，用无标签的频次、位置、形式和用法指标以及一个注入错误测试来解读它，这些指标均从采样输出中计算得出。我们发现，零 RL 几乎从不创造这个标记：在缺少该词的基础模型上，RL 大幅提升了 MATH-500 准确率，而 {wait} 仍近乎不存在。它是随训练数据而来的：在 OLMo-3 的中期训练中，以及在推理轨迹上做微调，会将其安装到大多数基础模型原本缺少该词的模型中。在基础模型已经使用该词的情况下，两个已发布的 RL-Zero 配方（OLMo-3、MiMo）都会使其成倍增加，而同一基础模型上的无 KL 的 GRPO 则不会；OLMo-3 的配方会磨损其形式，使其成为一个更敏感但也更宽松的警报；监督微调后的 RL 几乎不改变它，而我们的 GRPO 配方会抹去由微调植入的标记。最后，我们表明仅凭标记频率并不能指示 RL 诱导的推理，并告诫不要使用 LLM 作为评判者的修订指标，因为自动评判者可能逆转人工标注的趋势。
| 评论： | 审稿中 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30882 [cs.LG] |
| （或 arXiv:2610.30882v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30882 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sizai Hou [查看电子邮件]
[v1]
2026年10月22日星期四 08:03:07 UTC（1,288 KB）
来源：arXiv cs.CL · arxiv.org