arXiv cs.CL· Chiatzen Wang, Bill Xu, Haochen Gu, Hongyang Zhang·· 11 小时前AI 评分31
接受率不等于加速：无训练有损投机解码中的长度膨胀现象
Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding
AI 导读
研究识别出无训练有损（relaxed）投机解码中的长度膨胀现象：在十二组目标-草稿模型对上，各规则最宽松设置下平均每轮接受 token 数达无损验证的 1.34 倍，但生成补全长度也延长至 1.54 倍，主要来自推理链被拉长，大幅抵消了表面加速收益。
正文 · AI 翻译
摘要：推测解码通常以每轮验证中被接受的草稿 token 数来衡量加速效果。无损验证保持目标模型的输出分布，因而保持期望的补全长度，使该指标成为有意义的效率代理。松弛（有损）验证会接受无损验证本会拒绝的 token，可能改变该分布。我们发现了一种长度膨胀现象：松弛验证会延长补全，主要通过延长推理轨迹，在很大程度上抵消了每轮接受 token 数表面上的增益。我们在相同提示下，对十二组目标模型-草稿模型配对评估了现有的免训练松弛验证规则与无损验证，测量补全长度、验证轮数、实际耗时和任务准确率。在每条规则评估的最松弛设置下，松弛验证平均每轮接受的 token 数为 $1.34\times$，但产生的补全长度是 $1.54\times$。对于接受长度更高的规则，仅在松弛验证下被接受的 token 往往具有较低的目标模型概率，从而助长长度膨胀。对于减少验证轮数的规则，准确率通常大幅下降。进一步分析将部分失败归因于持续推理耗尽了给出最终答案所需的预算。总体而言，仅凭每轮接受的 token 数无法可靠衡量松弛验证下的解码速度。还必须报告补全长度和验证轮数，才能评估实际效率。
| 评论： | 提交至 NAACL 2027，审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23818 [cs.CL] |
| （或 arXiv:2610.23818v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23818 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chiatzen Wang [查看邮箱]
[v1]
2026年10月16日星期五 17:41:19 UTC（58 KB）
来源：arXiv cs.CL · arxiv.org