arXiv cs.AI· Yirui Liu, Ruoling Qi, Xuaner Wu, Penghang Liu, Jian Chen·· 2 天前AI 评分32
Tail-Replay：突破混合 LLM 前缀缓存中线性注意力的限制
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
AI 导读
Tail-Replay 是一种面向混合大语言模型的前缀缓存机制，通过只缓存全注意力 KV cache、省略循环状态检查点，在缓存命中时重放匹配前缀的短近期后缀来重建线性注意力状态，从而实现无约束的 token 级前缀复用。
正文 · AI 翻译
摘要：混合大语言模型将全注意力层与线性注意力层交错排列，以降低长上下文推理的成本。这种结构使前缀缓存变得复杂：全注意力的键值缓存可按 token 寻址，而线性注意力层维护的循环状态无法回滚到任意前缀边界。现有的混合前缀缓存方法通过存储循环状态检查点来解决这一不匹配问题。因此，token 级匹配只能在与已存储检查点对齐的位置直接使用，将前缀复用限制在一组离散的边界上。我们提出 Tail-Replay，一种前缀缓存机制，可在混合大语言模型中实现无约束的 token 级前缀复用。关键洞察在于，诸如 Gated DeltaNet 之类的线性注意力机制可被视为对输入前缀的一种结构化、有损压缩：门控循环更新会逐步衰减较早输入的贡献。因此，匹配前缀的循环状态可以通过仅重放该前缀的一小段近期后缀来很好地近似。Tail-Replay 利用这一特性，缓存精确的全注意力键值缓存，同时省略循环状态检查点。在缓存命中时，它通过重放匹配前缀的一小段近期后缀来重建线性注意力状态。因此，复用边界由共享的 token 决定，而非由循环状态检查点决定。我们在三个基于 Gated DeltaNet 的混合模型上使用 LongBench 和 RULER 基准评估 Tail-Replay。仅用 5--10\% 的重放预算，它在 LongBench 和 RULER 上就保留了全预填充质量的 92.8--99.9\%。在服务效率方面，我们评估了多个匹配前缀长度——8K、16K 和 32K——下的首 token 时间加速。加速比随前缀长度增长，在 32K 时达到全预填充的 $9.1$--$14.3\times$。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.30310 [cs.LG] |
| （或此版本的 arXiv:2608.30310v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2608.30310 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yirui Liu [查看邮箱]
[v1]
2026年8月31日星期一 06:27:07 UTC（228 KB）
[v2]
2026年10月15日星期四 14:12:48 UTC（228 KB）
来源：arXiv cs.AI · arxiv.org