arXiv cs.CL· Yongchao Long, Chunrui Zheng, Yuxuan Zhou, Guangkun Nie, Tian-Chi Ma, Chao Pang, Shuohuan Wang, Yuchen Ding, Xianbin Wen, Dianhai Yu, Junyuan Shang, Yuxi Zhou, Shenda Hong·· 11 小时前AI 评分31
投机解码的接受长度何时值得更高成本？一项受控研究
When Does Better Acceptance Pay? A Controlled Study of Speculative Decoding
AI 导读
一项受控研究重新测量了已发布 checkpoint 并在共享目标模型生成数据上重训六种 drafter 方案，发现统一训练与推理条件后，已发表对比中的接受长度差距大幅缩小。接受长度可通过近乎零成本的目标与上下文调整提升，DCore 作为强基线几乎不增加额外草稿开销。收益是有条件的：任务不确定性与服务条件会影响接受回报、执行成本和最优 drafter 与预算选择。
正文 · AI 翻译
作者：Yongchao Long、Chunrui Zheng、Yuxuan Zhou、Guangkun Nie、Tian-Chi Ma、Chao Pang、Shuohuan Wang、Yuchen Ding、Xianbin Wen、Dianhai Yu、Junyuan Shang、Yuxi Zhou、Shenda Hong
摘要：投机解码的吞吐量收益取决于接受长度与执行延迟之间的权衡。我们探讨在何种情况下，额外获得的接受长度值得付出相应代价。我们建立了一套涵盖训练、推理和评估的比较协议，在十个基准和两个目标模型上，对已发布的检查点重新测量，并在共享的目标生成数据上重新训练六种草稿模型方案。对齐改变了局面：在已发表的比较中看似很大的差距，在共享训练和推理条件下大幅缩小。这种缩小引出了两个更深层的问题：接受率如何以不同代价得到提升，以及这些收益何时能提升吞吐量？我们发现，接受率可以通过几乎零成本的目标与上下文改动来提升，也可以通过代价更高的逐 token 条件化来提升。DCore 展示了前一种路径，作为一个强基线，其额外测得的草稿开销很小。收益是有条件的：任务不确定性和服务条件会影响接受率回报、执行成本以及首选的草稿模型和预算。这些发现为未来的草稿模型设计与部署选择提供了参考。
| 评论： | 24 页，11 张图。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.24993 [cs.CL] |
| （或 arXiv:2610.24993v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.24993 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Yongchao Long [查看电子邮件]
[v1]
2026 年 10 月 18 日星期日 03:52:06 UTC（159 KB）
[v2]
2026 年 10 月 20 日星期二 07:26:20 UTC（159 KB）
来源：arXiv cs.CL · arxiv.org