arXiv cs.AI· Yanqi Yu, Pingwei Sun, Jianchao Tan, Tao Zhang, Yuchen Xie, Xunliang Cai, Yao Liu·· 6 天前AI 评分22
DASC：面向混合线性注意力推理的衰减感知状态压缩
DASC: Decay-Aware State Compression for Hybrid Linear-Attention Serving
AI 导读
针对混合线性注意力模型前缀复用需存储循环状态检查点、加剧显存压力的问题，研究者提出衰减感知状态压缩 DASC，依据 Gated DeltaNet 与 Kimi Delta Attention 的衰减结构推导各头与通道的保留时域，筛选长时域状态单元并打包为不规则检查点布局，同时在 TP rank 间做均衡。
正文 · AI 翻译
摘要：混合线性注意力架构近期已扩展到大型开放权重模型，在提供与全注意力相当的质量的同时，大幅降低了键/值（KV）缓存的增长。然而，其原地循环状态更新使缓存管理变得复杂：前缀复用需要状态检查点以及全注意力 KV，而完整存储状态检查点会增加内存压力，导致更多驱逐和重复预填充。通过分析 Gated DeltaNet（GDN）和 Kimi Delta Attention（KDA）的衰减结构，我们发现不同的头和通道在不同时间尺度上保留前缀信息，我们将其称为 \emph{保留视界}。这种差异表明持久状态检查点具有可观的压缩潜力。基于这一观察，我们提出了 \emph{衰减感知状态压缩}（DASC），它从模型权重中推导保留视界，选择长视界状态单元，并将它们打包成不规则的状态检查点布局。为了与张量并行推理引擎高效集成，DASC 进一步在 TP 等级之间平衡压缩后的状态检查点。在复用时，DASC 要么对省略的单元进行零填充，要么以额外计算成本从有界后缀中刷新它们。在 Kimi-Linear 上的检索和端到端推理基准测试中，保守的 DASC 配置在将 KDA 循环状态检查点压缩 $2.63\times$ 的同时，仍接近完整缓存。在固定的状态检查点内存预算下，由此带来的容量增益将平均首令牌时间（TTFT）降低了 42.6\%，并将输入吞吐量提高了 68.4\%。在更大的压缩比下，后缀刷新以额外的重放计算为代价，恢复了因更激进的省略而损失的大部分准确率。使用 GDN 的 Qwen 表现出类似的质量—效率趋势，表明 DASC 从通道级 KDA 扩展到头部级 GDN。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.30386 [cs.LG] |
| （或 arXiv:2608.30386v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.30386 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pingwei Sun [查看电子邮件]
[v1]
2026年8月31日星期一 07:42:43 UTC（467 KB）
[v2]
2026年10月9日星期五 07:27:01 UTC（559 KB）
来源：arXiv cs.AI · arxiv.org