arXiv cs.CL· Yuxin Chen, Chumeng Liang, Hangke Sui, Ruihan Guo, Chaoran Cheng, Jiaxuan You, Ge Liu·· 10 小时前AI 评分42
LangFlow：连续扩散模型在语言建模上媲美离散扩散
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
AI 导读
LangFlow 通过将嵌入空间扩散语言模型与 Flow Matching 结合，首次证明连续扩散在生成质量上可与离散扩散匹敌，在 LM1B 上生成困惑度达 92.3、OpenWebText 上达 36.5。
正文 · AI 翻译
摘要：连续扩散一直是图像、视频和分子结构等连续数据模态中高保真、可控且少步生成的基础。然而，在语言建模中，此前的连续扩散语言模型（DLM）落后于离散对应模型。现有的分类方法和基于单纯形的方法在极大且稀疏的语言空间上运行，而此前的嵌入空间方法虽避免了这种稀疏性，却缺乏精心选择的设计空间。在本工作中，我们通过将嵌入空间 DLM 与 Flow Matching 相连接，以 LangFlow 弥合了这一差距，并带来三项关键创新：（1）我们推导出一个新的基于 ODE 的 NLL 界，用于对连续流式语言模型进行有原则的评估；（2）我们提出一种信息均匀原则来设置噪声调度，这促成了一个基于 Gumbel 分布的可学习噪声调度器；（3）我们通过引入自条件化来修订此前的训练协议，这提升了嵌入空间 DLM 的似然和样本质量，且其表现与在离散扩散中的使用不同。综合以上，LangFlow 在生成质量上与顶尖离散 DLM 具有竞争力，在 LM1B 上达到 92.3 的生成困惑度，在 OpenWebText 上达到 36.5。它还在数独等推理任务上优于离散对应模型。作为首个在生成质量上被证明可与离散扩散媲美的连续 DLM，LangFlow 提供了明确证据，表明连续扩散是语言建模的一个有前景的范式。代码：此 https URL。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.11748 [cs.CL] |
| （或 arXiv:2604.11748v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.11748 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chumeng Liang [查看电子邮件]
[v1]
2026年4月13日星期一 17:21:41 UTC（491 KB）
[v2]
2026年4月14日星期二 17:20:50 UTC（492 KB）
[v3]
2026年4月15日星期三 16:15:30 UTC（493 KB）
[v4]
2026年11月5日星期四 22:09:09 UTC（524 KB）
来源：arXiv cs.CL · arxiv.org