arXiv cs.CL· Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Ma{\l}ecki, Taras Rumezhak, Volodymyr Karpiv·· 10 天前AI 评分24
扩散语言模型的 Token 级提前停止：Just on Time
Just on Time: Token-Level Early Stopping for Diffusion Language Models
AI 导读
研究者提出一种免训练、Token 级的提前停止方法，让扩散语言模型在每个位置上独立判断收敛，动态冻结已稳定的 token，从而大幅减少所需扩散步数。该方法利用模型预测与局部上下文的轻量信号决定 token 何时定稿，无需任务特定微调，在数学推理、通用问答和科学理解等多项基准上取得显著效率提升，同时保持生成质量。
正文 · AI 翻译
摘要：扩散语言模型通过迭代细化生成文本，这一过程通常计算效率低下，因为许多 token 在最终去噪步骤之前很久就已达到稳定。我们提出了一种无需训练的、token 级提前停止方法，可在每个位置独立识别收敛。我们的方法利用从模型预测和局部上下文导出的轻量信号，动态确定各个 token 何时可以最终确定。这实现了自适应的逐 token 冻结，无需针对特定任务进行微调，大幅减少了所需的扩散步骤总数。在涵盖数学推理、通用问答和科学理解的多种基准测试中，我们的方法在保持生成质量的同时实现了显著的效率提升。
| 评论： | 审稿中 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.11133 [cs.LG] |
| （或 arXiv:2602.11133v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.11133 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Mykola Vysotskyi [查看电子邮件]
[v1]
2026年2月11日星期三 18:44:04 UTC（298 KB）
[v2]
2026年8月2日星期日 20:20:48 UTC（193 KB）
[v3]
2026年10月7日星期三 07:54:48 UTC（190 KB）
来源：arXiv cs.CL · arxiv.org