arXiv cs.CL· Gil Jae Song, Sungjoo Yoo·· 3 天前AI 评分22
PN-Mix：面向长输出 LLM 推理的配对范数引导混合精度 Key Cache 量化
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
AI 导读
针对长输出 LLM 推理中 KV cache 的内存与带宽瓶颈，研究者提出混合精度 key cache 量化方法 PN-Mix，通过 RoPE 通道对级别的注意力 logit 扰动分析，识别 query–key 配对范数乘积大的显著通道对并分配更高精度，该显著通道对在 prefill 阶段确定一次、解码全程复用。
正文 · AI 翻译
摘要：大语言模型中的长输出推理面临严重的 KV 缓存内存和带宽瓶颈。虽然 KV 缓存量化缓解了这一问题，但低位量化（例如 2 位）会严重降低模型精度。近期的混合精度键缓存量化方法通过为重要的键通道分配更高精度来缓解这种精度下降，但仅使用键统计量来估计通道显著性。通过在 RoPE 通道对级别进行注意力 logit 扰动分析，我们表明，查询—键对范数乘积较大的通道对中的量化误差对 logit 变化贡献显著。基于这一洞见，我们提出 PN-Mix，一种面向基于 RoPE 的仅解码器 LLM 的混合精度键缓存量化方法，它为在预填充阶段识别一次并在整个解码过程中复用的显著通道对分配更高精度。在标准推理、代码生成和 AIME 基准上，平均精度为 2.26 位的 PN-Mix 达到了与先前使用 2.32--2.39 位的混合精度方法相当或更好的平均准确率。此外，在我们的帕累托扫描中，PN-Mix 在低至 1.5 位时仍能平缓退化，而对比基线在低于 2.25 位时表现出更急剧的性能下降。
| 评论： | EMNLP 2026 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19605 [cs.LG] |
| （或 arXiv:2610.19605v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19605 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gil Jae Song [查看电子邮件]
[v1]
2026年10月14日星期三 05:29:08 UTC（874 KB）
来源：arXiv cs.CL · arxiv.org