arXiv cs.CL· Yujian Chen, Hao Jiang, Guang Cheng, Weijian Luo, Tianyang Hu·· 10 小时前AI 评分31
投机草稿模型与连续扩散语言模型的生成能力差距对比
The Generative Gap Between Speculative Drafter and Continuous Diffusion Language Model
AI 导读
研究在无验证条件下对比连续扩散语言模型 LangFlow 与 DSpark 的 Markov、循环头架构的独立生成能力，全部从零训练用于 OpenWebText 无条件单块生成。
正文 · AI 翻译
摘要：连续扩散语言模型（CDLM）与推测式草稿器都能实现高效的语言生成，但通常采用不同的评估方式：CDLM 通过迭代细化独立生成，而草稿器则提出文本供目标模型验证与修正。我们在不进行验证的情况下比较它们的架构，CDLM 使用 LangFlow，并将 DSpark 的马尔可夫架构和循环头架构改造为独立生成。所有模型均从头训练，用于无条件、单块 OpenWebText 生成，长度分别为 16、128 和 1024，不使用目标特征或验证，采用相同的预处理、骨干维度和训练更新预算。我们使用外部语言模型评估生成困惑度（GenPPL），并使用 MAUVE 评估与参考文本的分布相似度。在默认去噪步数等于序列长度时，LangFlow 在长度 128 和 1024 下两项指标均优于两种 DSpark 变体，而 DSpark-RNN 在长度 16 下领先。条件 KL 分析刻画了马尔可夫头的前一 token 条件化所排除的依赖关系。循环记忆消除了这一限制并改善了两项指标，但长序列差距依然存在。教师概率匹配进一步降低了马尔可夫 GenPPL，但未观察到 MAUVE 提升。在固定权重下增加 LangFlow 的去噪步数可在长度 16 和 128 下改善两项指标，并改变长度 128 下相对于 DSpark-RNN 的排序。这些结果确立了 LangFlow 在评估预算下的长序列优势，并表明迭代式全序列细化是超越循环头记忆增益、改进独立生成的一条途径。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40847 [cs.CL] |
| （或 arXiv:2610.40847v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40847 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Weijian Luo [查看邮箱]
[v1]
2026年10月29日 星期四 18:30:59 UTC（205 KB）
来源：arXiv cs.CL · arxiv.org