LangDiT：为连续扩散语言模型设计 Transformer 架构

查看 PDF HTML（实验性）

摘要：连续扩散语言模型（CDLMs）为并行语言生成提供了一种替代方法；然而，大多数现有研究直接使用来自因果大语言模型（LLMs）或用于图像生成的扩散 Transformer（DiTs）的 Transformer 架构，这些架构并未针对 CDLMs 进行优化。在本文中，我们对用于 CDLMs 的 Transformer 架构进行了系统研究，并提出了语言扩散 Transformer（LangDiT），结合了特征与查询-键归一化、更宽的噪声条件化、似然捷径梯度路由与校准，以及置信度门控训练自条件化。在匹配的 LangFlow 对比中，LangDiT 显著降低了生成困惑度，在不同模型形式下确立了连续语言生成的新技术水平。以 LangFlow 作为代表性 CDLM，LangDiT 作为即插即用骨干网络，在 OpenWebText 数据集上对 1024 token 序列进行无条件生成时，使用 1024 次 NFE 达到了 21.72 的生成困惑度（GenPPL），使用 128 次 NFE 达到了 44.72 GenPPL，成为新的最先进模型。当适配到 Plaid 风格的 CDLM 形式时，LangDiT 在使用 1024 次去噪 NFE 时达到了新的领先 GenPPL 11.33，在使用 128 次去噪 NFE 时达到了 27.51 GenPPL。这些增益是在保留每个模型底层表示、训练目标和推理采样器的同时实现的，从而将 Transformer 架构单独确定为改进的根本来源。我们的研究将架构设计确定为连续扩散语言模型改进的重要来源。

提交历史

来自：Tianyang Hu [查看邮箱]
[v1] 2026年10月15日星期四 17:52:31 UTC（281 KB）