arXiv cs.CL· Mathias Ollu, Nikos Komodakis·· 13 小时前AI 评分32
H-CDLM：面向语言建模的分层连续扩散框架
Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling
AI 导读
研究者提出分层连续扩散语言模型 H-CDLM，通过并行扩散 token 本身与预训练 token 嵌入聚类得到的粗粒度簇两种模态，并允许各模态使用独立采样器与调度。应用于 CoBit 得到 H-CoBit，在 LM1B 和 OWT 上生成困惑度分别为 49.4 和 50.4，较基线改善 24.2 和 20.7 点，GSM8K 准确率达 27.4%。该框架同样适用于 FLM 流匹配模型，代码将公开。
正文 · AI 翻译
摘要：扩散语言模型（DLMs）有望实现与顺序无关的并行文本生成。最近，连续扩散和流匹配模型取得了显著进展，这得益于精心设计的 token 表示以及扩散/流空间。在本工作中，我们提出了分层连续扩散语言模型（H-CDLMs），这是一个简单的框架，以极小的计算和参数开销进一步改进连续 DLMs。借鉴离散 DLM 和连续图像扩散文献中关于联合扩散的研究，我们并行地对多种模态进行扩散。这些模态表示不同语义粒度上的 token：在我们的实例化中，即 token 本身以及通过对预训练 token 嵌入进行聚类得到的更粗粒度簇。我们提出了一个通用设置，允许为每种模态配置采样器和调度，以增强模态之间的相互作用。将其应用于 CoBit 得到 H-CoBit，在各项基准测试中带来了大幅度的实证提升。在数据集熵下，H-CoBit 提升了 MAUVE，并在 LM1B 上达到 49.4、在 OWT 上达到 50.4 的生成困惑度（GenPPL），分别比基线提升 24.2 和 20.7 个点，甚至超越了同等规模的离散 DLMs。在 GSM8K 上，它达到 27.4% 的准确率，优于先前的连续扩散和基于流的模型。我们进一步将 H-CDLM 应用于流匹配模型 FLM，得到 H-FLM 并取得了一致的提升，表明该框架可泛化到不同的连续生成范式。我们的代码将在 此 https URL 公开。
| 评论： | 27 页，10 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08738 [cs.CL] |
| （或 arXiv:2610.08738v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.08738 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mathias Ollu [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 17:38:19 UTC（101 KB）
[v2]
2026 年 10 月 27 日星期二 10:43:42 UTC（101 KB）
来源：arXiv cs.CL · arxiv.org