arXiv cs.CL· Bohan Sun, Zunhai Su, Xialie Zhuang, Jianjin Li, Ngai Wong, Chuan-Wei Kuo·· 3 天前AI 评分23
ReaDy：用循环状态为混合线性注意力大模型做动态上下文推测解码
ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models
AI 导读
ReaDy 是首个利用混合线性注意力（HLA）模型循环状态进行位置特定上下文检索的推测解码方法，为每个草稿位置配备可学习 query，从目标模型已提交的循环状态中检索补充上下文。
正文 · AI 翻译
摘要：推测解码通过每步起草多个 token 来加速自回归生成，但基于特征的起草器依赖目标隐藏特征，而这些特征的上下文侧重可能与后续起草位置的需求不一致。混合线性注意力（HLA）模型维护紧凑的循环状态，累积历史关联，为推测起草提供了一种高效的互补上下文来源。据我们所知，我们提出了 ReaDy，这是首个利用 HLA 循环状态在起草过程中进行位置特定上下文检索的推测解码方法。ReaDy 为每个起草位置配备一个学习到的查询，直接从目标已提交的循环状态中检索补充上下文。一个轻量级状态读取器通过残差更新将该上下文整合到起草表示中，而低秩状态读取和融合算子则保持额外的计算和 I/O 开销较低。基于 DSpark 的并行骨干和顺序预测头，ReaDy 采用轻量级两阶段适应策略，并通过消融研究考察了读取器容量、状态来源和残差放置。在涵盖数学、代码生成和对话的七个基准测试中，ReaDy 在单块 NVIDIA B200 GPU 上使用 Qwen3.8-27B 相比自回归解码实现了平均 $3.16\times$ 的解码加速。它在每个基准测试上都优于 DSpark，平均吞吐量提升 7.97%，接受长度提升 8.50%。我们的代码可在 此 https URL 获取。
| 评论： | 13 页，6 幅图，8 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20503 [cs.CL] |
| （或 arXiv:2610.20503v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20503 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bohan Sun [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 17:08:52 UTC（4,184 KB）
来源：arXiv cs.CL · arxiv.org