arXiv cs.AI· OneRec Team, Chenglong Chu, Guohong Mu, Guowang Zhang, Hao Peng, Hui Wang, Jian Liang, Jiangxia Cao, Jiao Ou, Jiaxin Deng, Lu Ren, Muhao Wei, Ruiming Tang, Tianle Xu, Wenwu Ou, Xingmei Wang, Zhixin Ling, Zhiyuan Liang, Ziqi Wang, Chaoyi Ma, Haixiao Gao, Kuo Cai, Renpu Liu, Ruochen Yang, Wenlong Xu, Xinqi Jin, Yan Sun, Yifan Wang, Yingzhi He, Yiyu Wang, Yusen Huo, Zhaojie Liu, Zihan Zhou·· 3 天前AI 评分22
快手 KSA V2 技术报告：让 Summary token 同时充当 KV 记忆与稀疏索引器
Kwai Summary Attention V2 Technical Report
AI 导读
快手 OneRec 团队提出 Kwai Summary Attention V2（KSA V2），针对混合 KSA-Full 架构中摘要压缩块必须逐层一致、Full attention 层仍承担二次预填充开销两个瓶颈，让 summary token 同时充当 KV 记忆与稀疏索引器，实现更灵活的 KV Cache 压缩并降低 Full attention 层计算成本。
正文 · AI 翻译
作者：OneRec Team、Chenglong Chu、Guohong Mu、Guowang Zhang、Hao Peng、Hui Wang、Jian Liang、Jiangxia Cao、Jiao Ou、Jiaxin Deng、Lu Ren、Muhao Wei、Ruiming Tang、Tianle Xu、Wenwu Ou、Xingmei Wang、Zhixin Ling、Zhiyuan Liang、Ziqi Wang、Chaoyi Ma、Haixiao Gao、Kuo Cai、Renpu Liu、Ruochen Yang、Wenlong Xu、Xinqi Jin、Yan Sun、Yifan Wang、Yingzhi He、Yiyu Wang、Yusen Huo、Zhaojie Liu、Zihan Zhou
摘要：诸如 Kwai Summary Attention (KSA) 之类的摘要 token 架构将远距离上下文压缩为每个分块的可学习 Summary token，而混合变体则将这些层与全注意力交错，以保留对原始文本的精确访问。在这种混合 KSA-Full 架构中，交错插入的摘要 token 在不同层之间充当流式流动的角色。尽管有效，但它也引入了一些瓶颈：(1) 不同层的摘要压缩分块必须相同，因此难以实现灵活的 KV Cache 压缩，例如不同层设置不同的摘要压缩分块窗口。(2) 在全注意力层中，摘要 token 引入了额外的计算成本，但此类层忽略它们，仍然付出二次方的预填充代价，因此对计算侧不友好。受此启发，我们开发了 KSA V2，它不仅实现了更灵活的 KV cache 内存压缩，还降低了全注意力层中的计算成本。具体而言，我们发现摘要 token 可以承担两种角色：KV 内存和稀疏索引器。
| Comments: | 进行中的工作 |
| Subjects: | 机器学习 (cs.LG)；人工智能 (cs.AI)；信息检索 (cs.IR) |
| Cite as: | arXiv:2610.18654 [cs.LG] |
| （或 arXiv:2610.18654v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18654 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiangxia Cao [查看电子邮件]
[v1]
2026年10月13日星期二 16:18:44 UTC (2,157 KB)
来源：arXiv cs.AI · arxiv.org