跳到正文
arXiv cs.CL· Bingchen Yao, Haobo Xu, Haokun Lin, Yichen Wu, Ziyu Guo, Renrui Zhang, Zhichao Lu, Zhenan Sun, Ying Wei·· 10 小时前AI 评分38

STEPQuant:Delta 规则循环状态量化中误差何时何地更关键

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

AI 导读

STEPQuant 是面向 Delta 规则循环状态的空间-时间训练后量化框架,按误差幅度与内存生命周期分配精度,并联合拟合 key 行与 value 列缩放。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:线性注意力用固定大小的循环状态取代不断增长的 KV 缓存,但这些持久状态在并发服务下可能成为显著的内存瓶颈。直接将循环状态量化为低精度往往会导致严重的精度下降,因为量化误差会通过连续的状态更新传播。我们发现这些误差的影响取决于两个互补的维度:在时间上,长寿命记忆中的误差会持续影响许多解码步骤;在空间上,不同键行中的误差对模型输出的影响不同,而状态幅值在行和列两个方向上都有显著变化。受这些观察启发,我们提出 STEPQuant,一个面向 Delta 规则循环状态的时空训练后量化框架。STEPQuant 根据误差幅值和记忆寿命分配精度,并基于状态分布和键行对输出误差的影响联合拟合键行与值列缩放因子。在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上针对长生成和短生成基准的实验表明,STEPQuant 在标称 6 比特预算下与 FP32 状态精度高度接近,并在其 4 比特配置下优于均匀 INT8。集成到 SGLang 并配合优化的 GPU 内核后,6 比特 STEPQuant 实现了超过 5 倍的循环状态压缩,并将总服务内存降低最多 68.7%。我们的代码可在 此 https URL 获取。
评论: 技术报告;v2:扩展了实验与评估
主题: 计算与语言 (cs.CL);人工智能 (cs.AI);机器学习 (cs.LG)
引用为: arXiv:2609.38169 [cs.CL]
  (或 arXiv:2609.38169v2 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.38169

arXiv 通过 DataCite 颁发的 DOI

提交历史

来自:Haokun Lin [查看邮箱]
[v1] 2026年9月29日 星期二 17:59:40 UTC(4,628 KB)
[v2] 2026年11月19日 星期四 17:27:00 UTC(4,861 KB)

来源:arXiv cs.CL · arxiv.org