arXiv cs.CL· Cheng Liang, Tengfei Zhang, Ya Zhang, Yanfeng Wang, Zhouhan Lin·· 10 小时前AI 评分34
UpLoop：不增加预训练算力，用 upcycling 训练循环 Transformer
UpLoop: Training Looped Transformers via Upcycling at No Extra Pretraining Compute
AI 导读
UpLoop 提出一种预训练方案，通过 upcycling 训练循环 Transformer，在最终参数量、训练 token 总量和训练 FLOPs 上与标准稠密基线完全持平。
正文 · AI 翻译
摘要：循环语言模型可以通过共享权重的重复计算来增强推理能力，在不增加独立参数的情况下提高执行深度。然而，每增加一次传递都会增加训练浮点运算量（FLOPs），使得这些收益的获取成本更高。为解决这一成本问题，我们提出了 UpLoop，一种预训练调度方案，它利用 upcycling 训练循环 Transformer，同时在最终参数数量、总训练 token 数和训练 FLOPs 上与标准稠密基线完全一致。具体而言，UpLoop 从一个浅层 Transformer 开始，通过复制已学习的层逐步增加其深度，并利用早期节省的计算量来支持训练后期对共享中间块的重复执行。跨模型规模的实验显示，语言建模和下游性能均有提升，在 1.3B 参数下，22 个下游任务的平均得分从 22.99 提高到 27.52。这些收益在监督微调后也延伸到了数学推理领域。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41720 [cs.LG] |
| （或 arXiv:2610.41720v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41720 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tengfei Zhang [查看电子邮件]
[v1]
2026年10月30日星期五 13:29:35 UTC（216 KB）
来源：arXiv cs.CL · arxiv.org