arXiv cs.AI· Egor Maximov, Aleksei Merkelov, Vasiliy Alekseev, Ivan Krivorotov, Valentin Beliaev, Nikita Arsenin, Dmitry Bocharov, Aleksei Goncharov·· 13 小时前AI 评分38
DCKV：面向混合语言模型提示词 KV Cache 的可学习变换编码
DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models
AI 导读
DCKV 是首个端到端训练的 KV cache 编解码器，其变换、量化器和熵模型以提示词 token 及已解码邻接位置为条件，与冻结的语言模型联合优化。在 Qwen3.5-2B 上，DCKV 以比 bf16 少 55 倍以上的字节存储压缩 token，三个长上下文基准最多损失 1.8 分；字节减少 100 倍以上时最多损失 3.6 分。
正文 · AI 翻译
摘要：混合语言模型仅在其少数全注意力层中保留键值（KV）缓存，但该缓存仍是提示状态中随提示增长的部分，且必须存储或移动才能复用。我们提出 DCKV，一种用于 KV 缓存的可微编解码器，也是首个端到端训练的 KV 缓存编解码器。其变换、量化器以及以提示 token 和已解码相邻位置为条件的熵模型，针对冻结的语言模型联合优化，同时优化熵模型分配的码长和模型输出的变化。在 Qwen3.5-2B 上，DCKV 存储一个压缩 token 的字节数比 bf16 少 55 倍以上，在三个长上下文基准上损失至多 1.8 分；字节数少 100 倍以上时，损失至多 3.6 分。
| 评论： | 21 页，7 幅图，14 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36950 [cs.LG] |
| （或 arXiv:2610.36950v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36950 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Egor Maximov [查看邮箱]
[v1]
2026年10月27日星期二 10:11:04 UTC（296 KB）
来源：arXiv cs.AI · arxiv.org