arXiv cs.AI· Yufeng Wang·· 9 天前AI 评分24
冻结解码器、修复编码器：SVD KV-Cache 压缩的参数高效适配方法
Freeze the Decoder, Heal the Encoder: Parameter-Efficient Adaptation for SVD-Based KV-Cache Compression
AI 导读
研究指出，在共享学习率下比较可训练参数量差异悬殊的微调方案会产生虚假优势：在 SVD 后处理 KV-Cache 压缩中，冻结解码器、仅修复编码器看似明显优于其他方案，但为每个方案单独调优学习率后该优势消失，仅编码器修复与其他方案持平，同时实际减少 3 倍可训练参数和 3 倍优化器状态内存。
正文 · AI 翻译
摘要：在单一共享学习率下比较参数高效微调方案是一种常见但有缺陷的做法：当被比较的各组可训练参数量差异很大时，共享学习率会同时压低较大组的均值并抬高其方差，从而人为制造出最小组一个看似多随机种子显著的巨大优势，而这并非真实效应。我们在一个具体场景中记录了这种混杂因素：基于 SVD 的事后 KV 缓存压缩，其中将已预训练的模型通过将其键/值权重分解为下投影（“编码器”）和上投影（“解码器”）转换为低秩（多头潜在注意力风格）缓存，随后通过一次短微调（“修复”）恢复因截断而损失的精度。在共享学习率下，冻结解码器并仅修复编码器看起来明显优于修复解码器或同时修复两者；一旦为每一组赋予各自调优的学习率，这一表面优势便消失，仅编码器修复反而与替代方案达到相当水平，同时实测节省 3 倍更少的可训练参数和 3 倍更少的优化器状态内存。我们在一个视觉语言模型（Qwen2.5-VL-3B-Instruct）上，通过逐组学习率调优和每种配置三个随机种子，在本协议覆盖的单一压缩比下验证了这种相当性，并在两个骨干网络上于纯文本测试平台复现。因此，仅编码器修复是一种更低内存的即插即用方案，用于在训练时改造低秩 KV 缓存压缩；而我们记录并纠正的共享学习率陷阱，对于比较任何各组可训练参数量不同的微调方案而言，都是一个警示性结果。
| 评论： | 预印本，审稿中 |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.10552 [cs.LG] |
| （或 arXiv:2610.10552v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10552 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Yufeng Wang [查看邮箱]
[v1]
2026年9月25日星期五 20:48:04 UTC（648 KB）
来源：arXiv cs.AI · arxiv.org