arXiv cs.CL· Parikshit Bansal, Sujay Sanghavi·· 10 小时前AI 评分32
TTCD：面向语言建模的 token 时间连续扩散模型
Token Time Continuous Diffusion for Language Modeling
AI 导读
研究者提出 token 时间连续扩散模型 TTCD，在连续空间中确定性地将高斯噪声映射为最终 token 画布，无需额外采样，并引入逐 token 时间概念，让部分 token 更快从噪声转为 token。在 OpenWebText 上训练的 160M 参数 TTCD 经自蒸馏后，高加速比下无条件生成质量与同类模型相当，条件生成和数独求解表现更优。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：本文提出 token time continuous diffusion（TTCD），一种新的扩散语言模型，其特点是：(a) 在连续空间中运行，确定性地将高斯噪声映射到最终 token 画布，无需进一步采样；并且关键的是 (b) 引入了逐 token 时间的新概念，其中一些 token 从噪声到 token 的推进速度比其他 token 更快。连续空间建模帮助 TTCD 避免了多 token 的并行采样，而这正是纯离散空间迭代模型在高速加速时出现不准确的关键来源。逐 token 时间的概念帮助 TTCD 更好地建模条件生成，允许更确定的 token 以更快的速度推进，并允许在细化过程中实现差异化的 token 间影响。TTCD 在高速加速下优于离散模型。我们在 OpenWebText 上训练了一个 160M 参数的 TTCD 模型，然后对其进行自蒸馏；我们发现，在高速加速下，我们在无条件生成质量上与若干现有同规模、在同一数据上训练并自蒸馏的模型相当，并在条件生成上优于它们。我们在数独求解上也取得了类似的收益。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2607.14106 [cs.CL] |
| （或 arXiv:2607.14106v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2607.14106 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Parikshit Bansal [查看邮箱]
[v1]
2026年5月7日星期四 16:23:06 UTC（659 KB）
[v2]
2026年11月4日星期三 16:32:30 UTC（1,121 KB）
来源：arXiv cs.CL · arxiv.org