arXiv cs.CL· Aaryam Sharma·· 10 小时前AI 评分31
TVP：面向投机解码的 TV 距离损失族，接受长度较 CE 提升 9.8%
TVP: TV is Almost All You Need for Speculative Decoding
AI 导读
研究者提出 TVP，一种基于期望接受长度的损失族，其幂参数可在覆盖导向与接受导向目标间插值，将幂从 0 退火到 1 后，在三种 drafter 架构与三种目标模型上取得最高或并列最高的接受长度。
正文 · AI 翻译
摘要：推测解码通过一个草稿模型加速 LLM 推理，其提出的 token 由目标模型并行验证。在无损推测采样下，草稿 token 被接受的概率等于 1 减去目标分布与草稿分布之间的全变差（TV）距离，然而草稿模型通常使用交叉熵（CE）或 KL 进行训练。我们首先表明，在匹配且调优良好的训练下，TV 在微调时达到或超过若干已发表的草稿训练目标，而固定的 TV 与 KL 混合在从头训练时同样如此。我们指出两个遗留问题：TV 在覆盖不足的 token 上梯度消失，以及前缀乘积在接受长度目标中使后续位置得不到足够信号。为解决这两个问题，我们推导出 TVP，一个基于期望接受长度的损失族，其幂参数在面向覆盖与面向接受的目标之间插值。将幂从零退火到一，在三种草稿架构和三种目标模型上取得最高或并列最高的接受长度，包括更长的草稿和块验证。微调时，TVP 相比 CE 将接受长度提升 9.8%，相比公开的 DFlash2 训练配方提升 6.2% 至 12.9%。
| 评论： | 25 页，2 幅图，14 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00588 [cs.LG] |
| （或 arXiv:2611.00588v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00588 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aaryam Sharma [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 03:31:48 UTC（139 KB）
来源：arXiv cs.CL · arxiv.org