arXiv cs.CL· Shuxuan Li, Jialiang Kang, Yanghao Zhou, Ziye Zhu, Xiao Yang·· 3 天前AI 评分29
FOLD：面向长上下文投机解码的免位置远记忆方法
FOLD: Position-Free Far Memory with Local Order for Long-Context Speculative Decoding
AI 导读
FOLD 是一种免训练的投机解码方法，保留精确的局部位置，并将所有远距离条目视为共享同一位置的远记忆，通过锐化注意力并单独控制其相对局部窗口的总权重来对抗注意力稀释。在六组目标-草稿模型组合、最高 256K token 的多种基准上，FOLD 大多取得最高加速比，最佳情况下较自回归解码加速从 2.08 倍提升至 4.22 倍。
正文 · AI 翻译
摘要：推测解码通过轻量级草稿和并行验证来加速 LLM 生成。它对长输入尤其有前景，因为 KV 缓存访问成本可以分摊到多个被接受的 token 上。然而，大多数草稿模型是在短序列上训练的，在长输入上性能会下降，而长上下文训练成本高昂。现有的免训练方法会限制上下文窗口、重新缩放位置，或用检索到的远距离条目增强近期上下文。然而，草稿模型读取的目标隐藏状态已经编码了上下文和位置信息，而且其轻量级架构使全历史注意力变得可负担。我们提出 FOLD，一种免训练方法，它保留精确的局部位置，并将所有远距离条目视为共享位置上的远记忆。为了在记忆增长时对抗注意力稀释，我们锐化其中的注意力以强调相关条目，同时单独控制其相对于局部窗口的总权重。在六个目标-草稿模型对以及高达 256K token 的多样基准上，FOLD 主要实现了最高加速，最佳情况下将自回归解码的加速比提高了一倍以上，从 2.08$\times$ 提升到 4.22$\times$。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20392 [cs.CL] |
| （或 arXiv:2610.20392v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20392 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuxuan Li [查看电子邮件]
[v1]
2026年10月14日星期三 15:55:10 UTC（703 KB）
来源：arXiv cs.CL · arxiv.org