arXiv cs.CL· Justin Jung·· 10 天前AI 评分22
Noise Your Prompt：连续扩散语言模型训练中对条件提示词 token 加噪
Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models
AI 导读
研究者对连续扩散语言模型训练中固定条件提示词 token 的常规做法做了单行改动：训练时也对条件提示词 token 加噪。
正文 · AI 翻译
摘要：我们重新审视了连续扩散语言模型文献中一个被普遍接受的标准做法，即在训练期间保持条件提示词元干净。
我们做了一个非常简单的修改：在训练期间也对条件提示词元加噪。
我们证明，在这种修改后的训练目标下，我们在数独和 N 皇后等组合推理任务中获得了更好的泛化能力，在更难的变体上提升最大
（数独困难难度求解率 $3.73\% \to 24.65\%$），并提高了生成解的多样性（10x10 N 皇后覆盖率 $50.60\% \to 73.79\%$）。我们还展示了在 Gigaword 摘要这一中等规模数据集场景下，自然语言生成质量有可衡量的提升，
但值得注意的是，这些提升并不能迁移到所有自然语言任务（例如开放式对话生成）。
我们的方法只是对训练目标的一行改动，默认情况下不需要额外的推理成本，
并提供了受无分类器引导启发的引导采样的灵活性。我们的
\href{this https URL} {code} 已公开可用。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR)，2026 |
| 主题： | 机器学习 (cs.LG)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.09145 [cs.LG] |
| （或 arXiv:2610.09145v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09145 arXiv 颁发的 DOI，通过 DataCite（待注册） |
|
| 期刊 参考： | Transactions on Machine Learning Research (2026) |
提交历史
来自：Justin Jung [查看电子邮件]
[v1]
2026年10月6日星期二 21:38:52 UTC（1,253 KB）
来源：arXiv cs.CL · arxiv.org