arXiv cs.CL· Saiteja Utpala, Chieh-Hsin Lai, Yuki Mitsufuji, Praneeth Vepakomma·· 12 小时前AI 评分29
Looped Uniform Diffusion 语言模型：循环层可将训练 FLOPs 降低至多 3.3 倍
Looped Uniform Diffusion Language Models
AI 导读
研究者在保持训练目标和采样器不变的前提下，将选择性循环（在每个去噪步内递归复用少量早期 Transformer 层）引入 Uniform Diffusion 语言模型（UDLM）。
正文 · AI 翻译
摘要：均匀扩散语言模型（UDLM）通过迭代去噪普通词汇 token 序列来生成文本，其中任意 token 都可能被破坏并随后被修正。在训练过程中，UDLM 必须从本身可能不可靠的上下文进行去噪，而掩码扩散语言模型（MDLM）始终以干净的上下文为条件。这一具有挑战性的训练目标使得 UDLM 的训练比 MDLM 更消耗 FLOP，但能带来更强的下游推理性能。最近，选择性循环（在每个去噪步骤内递归应用少量早期 Transformer 层）已被证明能在等 FLOP 预算下提升 MDLM 的训练效率。我们在保持训练目标和采样器不变的情况下研究了 UDLM 中的循环。我们发现循环显著提升了训练效率：在 OpenWebText 上，循环 UDLM 达到非循环 UDLM 训练约 0.5 万亿 token 时的验证 NLL，所需训练 FLOP 最多减少 2.8 倍，在 FineWeb-Edu 上最多减少 3.3 倍。我们还发现，在匹配的 NFE 预算下，循环 UDLM 的生成困惑度最多比非循环 UDLM 低 9.8%，且大部分收益在中等循环次数时即可实现。最后，我们研究了不同的循环次数分布，发现训练时更频繁地采样较小的循环次数可提升推理效率：在下游任务上，该策略比均匀循环次数采样少用 12% 的循环，且不降低准确率。
| 评论： | 27 页 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30066 [cs.CL] |
| （或 arXiv:2610.30066v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.30066 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saiteja Utpala [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 17:24:35 UTC（917 KB）
来源：arXiv cs.CL · arxiv.org