arXiv cs.CL· Yunxiao Zhao, Changxiao Cai·· 10 天前AI 评分26
直接最小化期望解码轮数：并行投机草稿模型的训练新方法
Training Parallel Speculative Draft Models by Directly Minimizing Expected Decoding Rounds
AI 导读
研究者提出 Expected Decoding Rounds（EDR）目标，将投机解码建模为马尔可夫奖励过程，按状态占用率加权局部拒绝成本，精确等于期望解码轮数且无需额外超参数。
正文 · AI 翻译
摘要：推测解码通过使用低成本的草稿模型提出 token，再由完整尺寸的目标模型并行验证，从而加速大语言模型推理。并行和半自回归（semi-AR）草稿器通过在单次前向传播中提出整个块来提高草稿效率，但训练它们带来了新的困难：给定位置的草稿分布取决于解码轮次从哪里开始，而轮次的起点又取决于先前轮次接受了多少 token。现有的训练目标通常依赖于块局部的代理目标，忽略了这种跨轮次耦合，因此没有直接优化全局解码效率。在这项工作中，我们通过将推测解码表示为马尔可夫奖励过程，为训练和评估这些草稿器开发了一个理论框架。这一形式化产生了期望解码轮数（EDR）目标，它按状态占用率对局部拒绝成本进行加权，并且恰好等于期望的解码轮数。与先前的代理目标不同，EDR 不引入任何辅助超参数。然后，我们推导出一个精确的时序差分梯度，支持从目标模型 rollout 中进行无偏随机优化。同一框架还产生了一个精确的离线轮数评估器，使得能够在共享的目标 rollout 上对草稿器进行配对比较，而无需运行推测解码。使用 EDR 对两个最先进的草稿器 DSpark 和 DFly 进行微调，在涵盖数学推理、代码生成和聊天的九个基准上，持续提高了平均接受长度，并优于现有的训练目标。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.10411 [cs.LG] |
| （或 arXiv:2610.10411v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10411 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yunxiao Zhao [查看电子邮件]
[v1]
2026年10月7日星期三 16:56:29 UTC（59 KB）
来源：arXiv cs.CL · arxiv.org