arXiv cs.CL· Jongwoo Ko, Pashmina Cameron·· 11 小时前AI 评分31
HyFlash：面向端侧投机解码的前缀记忆先验
HyFlash: A Prefix-Memory Prior for On-Device Speculative Decoding
AI 导读
HyFlash 是一种紧凑的并行草稿模型，通过前缀记忆先验将长程上下文建模与细粒度草稿位置交互分离，在有限容量下实现端侧投机解码。它用局部注意力捕捉近期上下文与草稿位置交互，并用循环记忆将历史目标特征压缩为固定大小状态，从而以有界草稿侧内存完成局部与长程建模。实验显示其接受率高于全上下文注意力，KV 存储显著更少，且对浅层草稿模型和长上下文增益更大。
正文 · AI 翻译
摘要：并行块草拟通过在一次主干前向传播中预测多个未来位置来加速推测解码，但在设备端部署时，草拟器的容量和上下文存储都受到限制。在严格的内存预算下，草拟器必须建模长距离依赖和细粒度的草拟位置交互，同时不能带来全上下文注意力不断增长的 KV 缓存开销。我们提出 HyFlash，一种紧凑的并行草拟器，引入前缀记忆先验，以有限容量将长距离上下文建模与细粒度草拟位置交互分离。局部注意力捕获近期上下文和草拟位置交互，而循环记忆将历史目标特征压缩为固定大小的状态。这种归纳偏置使得在草拟侧内存有界的情况下，能够进行有效的局部和长距离建模。实验表明，HyFlash 相比全上下文注意力实现了更高的接受率，同时 KV 存储大幅减少，并且对浅层草拟器和长上下文的增益更大。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07263 [cs.CL] |
| （或 arXiv:2611.07263v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07263 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jongwoo Ko [查看电子邮件]
[v1]
2026年11月5日星期四 00:31:21 UTC（144 KB）
来源：arXiv cs.CL · arxiv.org