研究：目标模型重生成削弱草稿训练增益

Jungseob Lee等作者发表研究称，在投机解码中，蒸馏等草稿训练目标在外部数据上带来的接受率增益，在目标模型对数据做贪婪重生成后大幅缩水：蒸馏增益变小，验证门控目标几乎无增益。 作者称，这一现象在视觉语言与纯文本任务、不同数据顺序、位置权重、验证器、解码温度及自回归草稿模型上均成立。 作者据此建议，草稿训练的目标增益应以目标重生成基线衡量，并跨训练长度评估。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。