arXiv cs.CL· Zhihan Yang, Wei Guo, Shuibai Zhang, Subham Sekhar Sahoo, Yongxin Chen, Arash Vahdat, Morteza Mardani, John Thickstun·· 14 小时前AI 评分44
RePlaid 证明连续扩散模型在语言建模上可与离散扩散竞争
Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
AI 导读
研究者将基于似然的连续扩散语言模型 Plaid 与现代离散 DLM 架构对齐，构建出 RePlaid，并首次为连续 DLM 建立可与离散 DLM 相比的 scaling law：与自回归模型的计算差距仅 20×，在更少参数下优于 Duo，并在过训练区间优于 MDLM。
正文 · AI 翻译
摘要：尽管扩散模型近期在语言建模领域引起了广泛关注，但连续扩散的可扩展性似乎不如离散方法。为挑战这一观念，我们重新审视了 Plaid——一种基于似然的连续扩散语言模型（DLM），并通过将 Plaid 的架构与现代离散 DLM 对齐，构建了 RePlaid。在这一统一设定下，我们建立了首个可与离散 DLM 相媲美的连续 DLM 缩放定律：RePlaid 与自回归模型相比的计算差距仅为 $20\times$，在参数更少的情况下优于 Duo，并在过训练机制下优于 MDLM。我们将 RePlaid 与近期的连续 DLM 进行了基准对比：在 OpenWebText 上，RePlaid 在连续 DLM 中取得了 $22.1$ 的新最优 PPL 上界，并具有更优的生成质量。这些结果表明，当通过似然进行训练时，连续扩散是离散 DLM 的一个极具竞争力且可扩展的替代方案。此外，我们提供了理论洞见以理解基于似然的训练的优势。我们表明，优化噪声调度以最小化 ELBO 的方差，会自然地随时间产生线性交叉熵（信息损失）。这均匀分配了去噪难度，而无需任何针对具体情形的时间重参数化。此外，我们发现通过似然优化嵌入会创建结构化的几何形态，并带来最显著的似然增益。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.18530 [cs.CL] |
| （或 arXiv:2605.18530v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.18530 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhihan Yang [查看邮箱]
[v1]
2026年5月18日星期一 15:15:24 UTC（657 KB）
[v2]
2026年9月9日星期三 21:20:41 UTC（658 KB）
[v3]
2026年10月24日星期六 20:05:07 UTC（1,670 KB）
来源：arXiv cs.CL · arxiv.org