arXiv cs.CL· Guo Tang, Shixin Jiang, Heng Chang, Zihan Zhang, Nuo Chen, Yuhan Li, Huiming Fan, Jia Li, Ming Liu, Bing Qin·· 3 天前AI 评分26
LoopRPT：面向循环语言模型的强化预训练框架
LoopRPT: Reinforcement Pre-Training for Looped Language Models
AI 导读
研究者提出 LoopRPT，一种专为循环语言模型（LoopLMs）设计的强化预训练框架，通过将下一 token 预测重构为下一 token 推理任务，用 EMA teacher 参考和带噪隐状态 rollout 将强化信号直接分配给隐式计算步骤。
正文 · AI 翻译
摘要：循环语言模型（LoopLMs）执行迭代潜在计算以细化内部表示，为显式思维链（CoT）推理提供了一种替代方案。然而，现有的强化学习（RL）范式主要针对输出 token，这与推理隐式展开的循环架构存在结构性错配。在这项工作中，我们提出了 LoopRPT，一个为 LoopLMs 量身定制的强化预训练框架。通过将下一 token 预测重新表述为下一 token 推理任务，LoopRPT 使用 EMA 教师参考和带噪潜在 rollout 将强化信号直接分配给潜在步骤。这一表述使 RL 能够直接塑造中间表示，将有效推理压缩到更少的迭代中。我们在 Ouro 上跨多个模型规模实例化了 LoopRPT。结果表明，LoopRPT 提高了每步表示质量，并在准确率-计算权衡中实现了帕累托最优。在困难 token 上的大幅提升表明，LoopRPT 增强了早期推理，而不仅仅是鼓励过早退出。我们的发现凸显了强化预训练作为在 LoopLMs 中学习高效潜在推理的原则性范式。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.19714 [cs.CL] |
| （或 arXiv:2603.19714v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.19714 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shixin Jiang [查看邮箱]
[v1]
2026年3月20日星期五 07:35:38 UTC（2,741 KB）
[v2]
2026年10月14日星期三 06:34:29 UTC（5,986 KB）
来源：arXiv cs.CL · arxiv.org