arXiv cs.CL· Kaicheng Xiao, Liran Dong, Haotian Li, Guoliang Xing·· 9 天前AI 评分24
RAM-Net 如何桥接 KV-Cache 量化与线性注意力：从理论到预训练权重迁移
Bridging KV-Cache Quantization and Linear Attention: From Theory to Pretrained Weight Migration
AI 导读
RAM-Net 被证明可在离散地址空间上通过软分配桥接 KV-cache 量化与线性注意力，其软地址分配将硬量化匹配扩展为可分离读写重叠，局部近似全注意力相似度并支持循环聚合。
正文 · AI 翻译
摘要：KV 缓存量化与线性注意力是应对 Transformer 存储与计算开销的两种代表性方法。KV 缓存量化将单个 KV 条目压缩为离散编码，但保留所有条目；而线性注意力则将多个历史 KV 贡献循环聚合为固定大小的连续状态，但可能引入干扰。这一对比引出一个问题：能否在单一机制内将逐 KV 压缩与多 KV 聚合桥接起来，以实现高效注意力。我们确认 RAM-Net 正是通过离散地址空间上的软分配实现这一桥接的机制。这些分配决定了对与每个地址相关联的连续槽状态进行循环更新。在受限的 RAM-Net 构造下，我们证明软地址分配将硬量化匹配扩展为可分离的读写重叠，该重叠在局部近似全注意力相似度并支持循环聚合。这些联系进一步使得基于软量化中间构造的新路径能够实现 Transformer 到 RAM-Net 的权重迁移。在九个从 0.3B 到 7B 参数的预训练 Transformer 模型上，RAM-Net 在六个常识与知识任务中，每个模型仅使用 500M token 预算，平均恢复了教师模型相对随机猜测准确率增益的 87.1%。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11214 [cs.LG] |
| （或使用 arXiv:2610.11214v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11214 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kaicheng Xiao [查看邮箱]
[v1]
2026年10月8日星期四 04:12:49 UTC（10,602 KB）
来源：arXiv cs.CL · arxiv.org