arXiv cs.CL· Jungseob Lee, Hogun Seong, Euijun Choi, Sugyeong Eo·· 12 小时前AI 评分31
目标模型重写数据会缩小投机解码中草稿训练目标的增益
Target Regeneration Shrinks the Gains of Draft-Training Objectives in Speculative Decoding
AI 导读
研究发现，投机解码中蒸馏等草稿训练目标带来的接受率增益，在目标模型对数据做贪婪重生成后大幅缩水：蒸馏增益变小，验证门控目标几乎无增益。该现象在视觉语言与纯文本任务、不同数据顺序、位置权重、验证器、解码温度及自回归草稿模型上均成立。作者建议目标增益应以目标重生成基线衡量，并跨训练长度评估。
正文 · AI 翻译
摘要：推测解码通过并行验证草稿 token 来加速大语言模型。新的草稿训练目标通常被认为在外部撰写的响应上比交叉熵带来了更高的接受率，然而许多流程会让目标模型重写这些响应。我们探究这种增益有多少能够保留下来。使用视觉语言目标模型和块草稿器，我们在同一语料的四个版本上训练了三个目标：对语料 token 的交叉熵、来自目标模型的 token 级蒸馏，以及仅对能通过验证的位置进行门控的蒸馏。蒸馏和门控在外部响应上带来大幅增益，但在贪婪重生成之后，蒸馏带来的增益变小，门控则几乎没有或完全没有增益。这种缩减在数据顺序、位置权重、验证器、解码温度下持续存在，对于蒸馏还在初始化和学习率下持续存在。大部分缩减在匹配的监督长度下以及在各目标最佳实测训练长度下仍然存在。第二个视觉语料也显示出这种缩减，纯文本复现也是如此，对于蒸馏在使用自回归草稿器时同样如此。因此，目标增益应当以目标重生成的基线为参照，并在不同训练长度下进行测量。我们的代码可在 此 https URL 获取。
| 评论： | 19 页，6 幅图，15 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29013 [cs.CL] |
| （或 arXiv:2610.29013v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29013 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sugyeong Eo [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 00:26:37 UTC（221 KB）
来源：arXiv cs.CL · arxiv.org