arXiv cs.CL· Yuki Otsuka, Daisuke Oba, Naoaki Okazaki·· 11 小时前AI 评分33
ReLaDrift：用漂移模型实现循环语言生成以支持测试时扩展
ReLaDrift: Recurrent Language Generation via Drifting for Test-Time Scaling
AI 导读
ReLaDrift 提出用共享 Drifting Model 从噪声生成初稿，并在连续隐空间中迭代精炼，从而实现测试时计算与生成质量之间的权衡。训练时随机采样轮数、仅在最后一轮施加 drifting loss 并截断前序轮梯度，使反向传播只需一轮。在 Sudoku Hard 和 GSM8K 上，其表现与扩散及流式语言模型等迭代生成方法相当或更优。
正文 · AI 翻译
摘要：Drifting Models 通过单次函数求值生成样本，这使其在快速并行语言生成方面颇具吸引力，但其单步公式不支持迭代细化。我们提出 Recurrent Language Generation via Drifting（ReLaDrift），它使用一个共享的 Drifting Model 从噪声生成初始草稿，并在连续潜在空间中迭代细化。我们通过对轮数进行采样并仅在最后一轮应用 drifting 损失来训练这种循环，同时阻断前几轮的梯度，从而使只有一轮需要反向传播。与单步 Drifting Model 在迭代时精度不会提升不同，ReLaDrift 能够像扩散模型和流式语言模型那样，在测试时计算量与生成质量之间实现权衡。在 Sudoku Hard 和 GSM8K 上，它在多种推理预算下与这些迭代生成方法相比取得了有竞争力或更优的性能。我们的代码可在 此 https URL 获取
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23225 [cs.CL] |
| （或 arXiv:2610.23225v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23225 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuki Otsuka [查看电子邮件]
[v1]
2026年10月16日星期五 09:55:22 UTC（182 KB）
来源：arXiv cs.CL · arxiv.org