arXiv cs.AI· Guanghan Wang, Bing He, Zhan Shi, Benoit Dumoulin, Hanqing Lu, Volodymyr Kuleshov·· 3 天前AI 评分51
研究重估扩散语言模型与自回归模型的 16 倍预训练算力差距
Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
AI 导读
arXiv 论文重新审视了扩散语言模型（DLM）与自回归语言模型（ARM）之间被广泛引用的 16 倍预训练算力差距，认为原方法用 ELBO 打分并训练全序列 decoder-only 模型，已与当前 DLM 实践脱节。
正文 · AI 翻译
摘要：扩散语言模型（DLM）因其快速、并行的解码方式而受到广泛关注，但人们认为其训练效率远低于自回归语言模型（ARM）：一项被广泛引用的研究报告称，DLM 要达到与 ARM 相当的对数似然，所需的训练算力约为 ARM 的 16 倍，这一数字使得从零开始预训练 DLM 在大规模下显得代价高昂。我们发现，这一数字背后的方法学已与当前 DLM 实践脱节：它使用证据下界（ELBO）对模型进行评分，并训练一个全序列、仅解码器的模型。因此，我们重新审视 DLM 的缩放定律，采用模型自身解码顺序下的精确似然、块扩散训练、编码器-解码器架构，并对实践中使用的块大小进行扫描。在这一新协议下，我们研究了十种模型变体、总计约 1,700 个模型，发现预训练 DLM 的成本远低于此前认为的水平。具体而言，使用精确似然评分将算力倍数降至 12.8 倍；块扩散训练和编码器-解码器架构在块大小为 32 时进一步将其降至 7.8 倍，而更小的块大小在块大小为 8 时将其缩小至 4.6 倍，在块大小为 4 时缩小至 3.0 倍。我们通过这些缩放分析补充了编码器-解码器块扩散最优解码器深度的经验规则、超出拟合范围的留出算力预算（在该预算下各变体之间的差距持续存在），以及下游基准测试结果，其中似然的提升转化为准确率的提升。总体而言，16 倍这一数字大幅高估了 DLM 与 ARM 之间的预训练成本差距，从零开始预训练 DLM 远比此前假设的更为可行。
| 评论： | 项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17590 [cs.LG] |
| （或 arXiv:2610.17590v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17590 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Guanghan Wang [查看电子邮件]
[v1]
2026年10月13日星期二 02:08:12 UTC（268 KB）
来源：arXiv cs.AI · arxiv.org