arXiv cs.CL· Zhiyuan Wang, Xuan Luo, Sirui Zeng, Xifeng Yan·· 11 小时前AI 评分38
距离自适应表示 DAR：按 token 距离分配 KV 维度以压缩缓存
Dual Dimensionality for Local and Global Attention
AI 导读
研究者提出 Distance-Adaptive Representation（DAR），在局部上下文窗口内保留全维度 Key/Value，对窗口外 token 使用 1/2 或 1/4 降维表示。
正文 · AI 翻译
摘要：仅解码器 Transformer 会对前序 token 的 KV 缓存计算注意力。键和值通常以相同的维度表示，无论它们与预测目标的距离如何。然而在自然语言中，下一个词受紧邻前序 token 的影响最强。我们假设局部 token 和远端 token 对表示能力的需求是不对称的：局部 token 对预测即时输出更为关键，因而需要更丰富的表示；而远端 token 主要充当长程记忆，较低维的表示可能就已足够。我们将这一思想形式化为距离自适应表示（Distance-Adaptive Representation, DAR），它在局部上下文窗口内保留全维表示，而对窗口之外的 token 赋予降维表示（例如原始维度的 1/2 或 1/4）。在多种预训练规模（70M 至 410M 参数）下，以及在 1B 规模模型上继续进行监督微调时，该方法的表现都与全维基线十分接近。相比之下，对所有 token 位置统一降维会导致性能变差。这些结果挑战了键和值维度应在各 token 位置保持一致的常见假设。我们进一步开发了 DAR 的一种高效实现，在评估的模型上，其模型质量与 MLA 基线相当，同时在 8K 上下文下将平均 KV 缓存大小减少 68.8\%，并在 128K 上下文下实现最高 $1.9\times$ 的解码加速。我们的发现为设计按 token 距离分配表示能力的注意力架构指明了新方向，以在推理期间减少 KV 缓存。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.18587 [cs.CL] |
| （或本版本的 arXiv:2606.18587v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.18587 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhiyuan Wang [查看邮箱]
[v1]
2026年6月17日 星期三 01:27:33 UTC（132 KB）
[v2]
2026年11月1日 星期日 00:39:34 UTC（194 KB）
来源：arXiv cs.CL · arxiv.org