arXiv cs.CL· Jie Jiang, Xing Sun, Ruotian Chen, Jianan Su, Kaixin Shen·· 11 小时前AI 评分31
PPOW：面向投机解码的自适应窗口性能驱动策略优化
Performance-Driven Policy Optimization for Speculative Decoding with Adaptive Windowing
AI 导读
PPOW 是一个强化学习框架，将投机解码的草稿模型优化从 token 级模仿转向窗口级优化，结合成本感知加速奖励、基于分布的接近奖励与自适应散度感知窗口机制。在统一解码协议下，PPOW 在多个模型族和基准上实现 6.29-6.52 的平均接受长度和 3.39-4.36 倍加速。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：推测解码通过让轻量级草稿模型提出候选 token 的推测窗口，由更大的目标模型并行验证，从而加速 LLM 推理。在实践中，推测效率往往受制于难以草拟的位置：早期不匹配会截断已接受的 prefix，并使推测窗口的其余部分失效。大多数基于学习的 drafter 仍以 token 级监督目标进行优化，尽管推测效用本质上是窗口级且对 prefix 敏感的。我们提出 PPOW（Performance-Driven Policy Optimization with Adaptive Windowing），一个将 drafter 优化从 token 级模仿转向窗口级优化的强化学习框架。PPOW 结合了成本感知加速奖励、基于分布的邻近奖励，以及自适应散度感知窗口化，后者优先选择具有高置信度加权 draft-target 散度的信息量大的窗口。在统一解码协议下，PPOW 在多个模型家族和基准上实现了 6.29-6.52 的平均接受长度和 3.39-4.36$\times$ 的加速。这些结果表明，性能驱动的窗口级优化是提高推测解码效率的实用方法。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.14978 [cs.CL] |
| （或 arXiv:2605.14978v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.14978 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jie Jiang [查看邮箱]
[v1]
2026 年 5 月 14 日星期四 15:41:57 UTC（345 KB）
[v2]
2026 年 5 月 15 日星期五 02:45:40 UTC（354 KB）
[v3]
2026 年 10 月 20 日星期二 13:08:31 UTC（99 KB）
来源：arXiv cs.CL · arxiv.org