arXiv cs.AI· Bruce Changlong Xu, Adarsh Kumarappan, Mu Zhou·· 11 小时前AI 评分59
KV cache 量化下的对齐崩塌：诊断与缓解
Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation
AI 导读
研究者在 11 个指令微调模型（3.8B-72B）和 5 个基准（1,894 条提示）上发现，低比特 KV cache 量化会在困惑度几乎不变的情况下悄然破坏安全对齐，例如 Mistral-7B 在困惑度仅 1.03x 时拒绝率下降 15.2%，且不存在通用的安全比特宽度。
正文 · AI 翻译
摘要：键值（KV）缓存量化被广泛用于降低 LLM 推理内存，但现有评估仅关注困惑度和准确率，未评估其安全影响。在本研究中，我们探讨了 KV 缓存量化下的对齐保持情况。在十一个指令微调模型（3.8B-72B）和五个基准（1,894 条提示）上，我们发现低比特量化会悄无声息地破坏安全对齐：Mistral-7B 在困惑度仅为 1.03 倍时便丢失了 15.2% 的拒答，且不存在通用的安全比特宽度，模型特有的相变十分剧烈，标准指标无法察觉。我们指出其根源在于几何结构：安全特征占据一个低维激活子空间，其对量化噪声的脆弱性比困惑度所平均的完整表示空间高 $10^2$-$10^3\times$。我们提出逐通道缩减（PCR），一种诊断方法，可将每个模型归类为三种机制性失效模式之一：离群值压垮安全，即安全特征存在于非离群通道中，被离群值驱动的缩放因子附带损害；离群值即安全，即安全特征与离群通道重叠，更细的粒度也无法挽救；多层稀释，即安全特征分布在许多层中，逐层修复失效。PCR 使用 20 条校准提示，在全部九个主要模型和一个来自独立家族的留出模型上预测出正确的缓解方向。PCR 可泛化到未见过的提示、模型和量化器家族，包括生产级量化器（KIVI：最高恢复 97.2%）和基于旋转的量化（QuaRot 风格 Hadamard），在基于注意力的分配方法失效之处取得成功。由此产生的免训练协议仅需约 35 GPU 分钟，即可在低于 1% 的延迟和极小内存开销下恢复高达 97% 的丢失对齐，解决了在 NVIDIA GPU 上使用 FP8 KV 缓存的生产级 vLLM 服务中已确认的漏洞。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；新兴技术（cs.ET） |
| 引用为： | arXiv:2606.09864 [cs.LG] |
| （或 arXiv:2606.09864v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.09864 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Adarsh Kumarappan [查看电子邮件]
[v1]
2026 年 6 月 1 日星期一 02:02:20 UTC（1,284 KB）
[v2]
2026 年 8 月 8 日星期六 15:57:15 UTC（1,285 KB）
[v3]
2026 年 11 月 5 日星期四 05:19:21 UTC（1,296 KB）
来源：arXiv cs.AI · arxiv.org