研究将思考与强化学习提前至预训练阶段

Ellen Xiaoqing Tan 等作者提出一种新的预训练与中期训练方法，把思考与强化学习提前到训练早期。其做法是用已有的强后训练模型重写数据，并评判策略模型的 rollout。 该方法还引入“自改进后思考”，即先生成再推理，以提升模型的推理与自我评判能力。作者称实验在多个维度上带来显著增益。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。