arXiv cs.AI· Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia·· 10 天前AI 评分24
Hybrid Latent Attention：面向循环语言模型的高效注意力机制
Hybrid Latent Attention for Looped Language Models
AI 导读
针对循环语言模型 KV cache 随循环次数 T 倍增的问题，研究者提出 Hybrid Latent Attention（HLA），在滑动窗口 W 内保留精确 key/value，窗口外旧 token 压缩为 latent 供各次循环的 query 直接读取。
正文 · AI 翻译
摘要：循环语言模型对每个 token 应用同一组层堆叠 T 次，这在不增加参数的情况下加深了模型，但将其键值（KV）缓存扩大了 T 倍。更大的缓存限制了 GPU 一次能解码的序列数量，并拖慢每个解码步骤，因为每个步骤都要读取整个缓存。我们提出混合潜在注意力（HLA），它在 W 个最近 token 的滑动窗口内保留精确的键和值，并将每个更早的 token 存储为紧凑的潜在表示，每个循环的查询直接读取该表示，而无需重建键和值。我们在 Ouro 循环模型（T=4）上对 HLA 进行增量训练，参数量为 1.4B 和 2.6B，保持预训练权重冻结，仅训练新增参数以复现原始注意力。每个 token 的缓存缩小 10.7 倍，每块 GPU 可容纳 4.0-8.8 倍的并发序列，解码吞吐量在 1K token 上下文下提升 2.5 倍，在 16K 下最高提升 7.4 倍。HLA 在数学、知识和推理基准上保留了超过 97% 的原始准确率，在长达 16K token 的长上下文检索上保留了 96-100%。经过监督微调后，其在竞赛级数学上的表现与微调后的原始模型相当。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07940 [cs.CL] |
| （或 arXiv:2610.07940v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07940 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhan Chen [查看邮箱]
[v1]
2026年10月6日星期二 08:14:07 UTC（185 KB）
来源：arXiv cs.AI · arxiv.org