arXiv cs.AI· Hao-Yuan He, Peng-Fei Liu, Chen Chen, Si Shen, Quan He, Runzhou Liu, Xinqi Li, Zhenhua Dong, Ming Li·· 14 小时前AI 评分38
LongSpark：用固定成本并行草稿模型实现高效投机解码
LongSpark: Efficient speculative decoding with a fixed-cost parallel drafter
AI 导读
LongSpark 提出一种块扩散草稿模型，通过从目标模型的验证过程中提取固定大小的多尺度视图，使草稿解码成本完全独立于前缀长度，无需随上下文增长的持久状态。在多种模型规模和真实服务条件下，LongSpark 取得端到端效率 SOTA，长上下文任务中每输出 token 时间最低，同时将草稿模型的上下文状态缩减数个数量级。
正文 · AI 翻译
摘要：推测解码通过在单次目标前向传播中验证多个草稿 token 来加速自回归推理。然而，随着上下文增长，现有最先进的草稿模型变得越来越昂贵，侵蚀了它们本应提供的效率优势。我们认为这种扩展是不必要的。独立语言模型必须随其前缀增长，因为它独自负责其生成的每一个 token。相比之下，草稿模型只提出候选；目标模型在任何 token 被提交之前捕获并纠正每一个错误。因此，草稿模型的解码成本可以完全独立于前缀长度。我们提出 LongSpark，一种块扩散草稿模型，它通过从目标模型的验证过程中提取固定大小的多尺度视图来实现这一点，从而消除了对不断增长的持久状态的需求。大量评估表明，LongSpark 在多种模型规模和真实服务条件下实现了最先进的端到端效率。值得注意的是，它在长上下文任务上提供了最低的每输出 token 时间，同时将草稿模型的上下文状态减少了几个数量级。
| 评论： | 更新作者信息与比较 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2609.37029 [cs.LG] |
| （或 arXiv:2609.37029v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.37029 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hao-Yuan He [查看电子邮件]
[v1]
2026年9月29日星期二 08:42:58 UTC（372 KB）
[v2]
2026年10月26日星期一 09:15:06 UTC（373 KB）
来源：arXiv cs.AI · arxiv.org