arXiv cs.AI· Jiayu Liu, Ruizhi Zhao, Tianyun Ji, Yee Whye Teh, Zhenya Huang, Ning Miao·· 6 天前AI 评分31
Seq-Drifting：通过序列漂移实现一步文本生成
One-Step Text Generation by Seq-Drifting
AI 导读
Seq-Drifting 提出一种对连续 token 表示序列施加漂移的框架，直接学习从高斯噪声到文本的映射，在推理时一次前向传播即可联合生成全部 token。该方法在 LM1B 上一步生成达到 36.01 的生成困惑度，并在无条件与条件生成、翻译、摘要和推理任务上展现竞争力。
正文 · AI 翻译
摘要：扩散语言模型并行生成 token，但仍需多个采样步骤才能生成高质量文本。在本文中，我们研究模型能否学会在单次前向传播中生成整个序列。我们提出 Seq-Drifting，一个将 drifting 应用于连续 token 表示序列、并直接学习从高斯噪声到文本的映射的框架。与现有 DLM 在每个位置直接从训练序列中观测到的 token 推导监督信号不同，Seq-Drifting 构建了一个漂移场，其逐位置目标会适应当前生成的上下文。在每个位置，吸引力引导每个输出趋向一组在上下文中合理的 token 表示，而排斥力则防止样本间坍缩和序列内重复。生成器在训练期间从该漂移场学习，并在推理时一次前向传播中联合生成所有 token。实验上，Seq-Drifting 在 LM1B 上一步生成即达到 36.01 的生成困惑度，并在无条件生成和条件生成中均具有竞争力。在翻译、摘要和推理上的实验进一步证明了该框架在开放式生成之外的适用性。这些结果表明，在 token 序列上进行 drifting 为高效的一步文本生成提供了一条有前景的路径。我们的代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12879 [cs.AI] |
| （或使用 arXiv:2610.12879v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.12879 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiayu Liu [查看邮箱]
[v1]
2026年10月9日星期五 02:15:52 UTC（3,064 KB）
来源：arXiv cs.AI · arxiv.org