arXiv cs.CL· Jinjin He, Xinsong Feng, Lucheng Fu, Sinan Wang, Bo Zhu, Jiayun Wang·· 6 天前AI 评分31
重新思考扩散与解码的角色分工：面向并行语言生成的 Predictive-State Flows
Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation
AI 导读
研究者提出 Predictive-State Flows（PSF），将序列划分为块，由 rectified-flow 先验仅生成基于前文计算的预测状态，再由块因果解码器并行生成所有块，把扩散从 L 个 token 级状态降到 K << L 个预测状态，token 级串行深度降至 L/K。
正文 · AI 翻译
摘要：在连续扩散语言模型（DLM）中，由扩散先验生成的潜变量几乎确定性地映射到 token，无论是通过解码器还是通过 token 嵌入矩阵。与图像生成中视觉细节可以连续变化不同，扩散先验必须在连续空间中捕捉细粒度的离散 token 选择，这可能使联合潜变量分布难以建模。我们认为，生成角色应当被划分：扩散先验应生成高层预测信息，而解码器应解决剩余的 token 级选择。基于这一观点，我们提出了预测状态流（PSF），它将序列划分为若干块，并将每个块与仅由前文上下文计算得到的预测状态相关联。一个整流流先验生成预测状态序列，随后一个块因果解码器并行生成所有块，仅在每个块内自回归。这一设计将扩散从 L 个 token 级状态减少到 K << L 个预测状态，并将 token 级序列深度减少到 L/K。在无条件 OpenWebText 生成上，一个 K=8 的 197M 参数模型在每篇 1024 token 文档 0.31 TFLOPs 下，在熵 5.16 时达到 22.8 的生成困惑度，而 ELF-B 在 32 个采样步骤下为 24.0 和 7.2 TFLOPs。相应的实测工作点分别得到 MAUVE@512 为 0.93 和 0.73。受控比较进一步表明，额外编码自身块的内容状态比预测状态产生高 8-16% 的生成困惑度，而将采样的预测状态轨迹替换为共享均值会使 MAUVE@512 降低 0.11。这些结果表明，连续 DLM 的潜变量设计不仅应考虑文本表示的紧凑程度，还应考虑先验与解码器之间生成角色的划分。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12898 [cs.CL] |
| （或 arXiv:2610.12898v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12898 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jinjin He [查看电子邮件]
[v1]
2026年10月9日星期五 02:43:30 UTC（221 KB）
来源：arXiv cs.CL · arxiv.org