arXiv cs.CL· Yi Wang, Rui Qian, Yu Li, Haoyang Yao, Wenjie Wang·· 9 天前AI 评分21
LoopOPD：面向循环语言模型的动态跨循环在线策略蒸馏
Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models
AI 导读
研究提出 LoopOPD 跨循环在线策略蒸馏框架，用 LoopLM 内部冻结的终端循环策略作为中间循环学生的"计算特权教师"，在自生成 rollout 上提供稠密监督，无需外部教师或特权信息。
正文 · AI 翻译
摘要：循环语言模型（LoopLMs）通过在循环计算步骤中复用共享参数，提供了一种参数高效的推理扩展方法。尽管前景广阔，但 LoopLMs 的有效后训练仍然具有挑战性。现有方法要么提供基于奖励的监督，这种监督稀疏或难以跨循环扩展，要么依赖外部教师或特权信息，导致教师可用性有限或师生上下文不匹配。为解决这些局限，我们提出了 LoopOPD，一种跨循环的在线策略蒸馏框架，利用 LoopLM 内部额外的循环计算作为其自身的监督来源。LoopOPD 使用冻结的终端循环策略作为计算特权教师，在学生的生成轨迹上指导中间循环学生，无需外部教师或特权信息即可提供密集监督。我们进一步提出了动态 LoopOPD（D-LoopOPD），随着共享模型参数的更新持续刷新终端循环教师，实现循环自我改进。我们刻画了蒸馏更新如何在循环深度间传播，并推导出单次更新可同时在两个循环深度上产生局部改进的充分条件。在 Ouro-Thinking 模型上的实验表明，LoopOPD 提升了数学推理能力，而 D-LoopOPD 通过动态教师更新带来进一步增益。尽管仅在数学数据上训练，所得模型在通用推理和代码生成基准上也得到提升，表明循环计算可作为 LoopLMs 的有效监督来源。我们的代码和模型检查点将在录用后发布。
| 评论： | 28 页，8 张图。投稿至 ICLR 2027 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10623 [cs.LG] |
| （或 arXiv:2610.10623v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10623 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yi Wang [查看邮箱]
[v1]
2026 年 10 月 7 日星期三 08:54:30 UTC（1,296 KB）
来源：arXiv cs.CL · arxiv.org