arXiv cs.AI· Zhikun Tao, Fangyong Jin, Junping Zhao·· 10 小时前AI 评分34
KV Cache 能否跨模型更新复用？DeepSeek-V4-Flash 案例研究
Can KV Cache Be Reused Across Model Updates? A DeepSeek-V4-Flash Case Study
AI 导读
一项案例研究考察了 KV Cache 在模型更新间的直接复用，重点分析 DeepSeek-V4-Flash 到 Flash-0731 的升级。研究发现缓存可保留有用任务信息，但无法忠实复现更新后模型的行为，检索准确率波动明显；在已有源缓存时，三个长前缀 QA 基准上中位首 token 时间加速达 2.10–5.08 倍。
正文 · AI 翻译
摘要：在语言模型更新之间复用键值（KV）缓存可以避免对共享上下文的重复计算，但模型权重的变化引出了一个根本性问题：这些缓存究竟保留了什么。我们研究了四次模型更新之间的直接缓存复用，并对 DeepSeek-V4-Flash 到 Flash-0731 进行了详细研究。我们的核心发现是，缓存可以保留有用的任务信息，却无法忠实复现更新后模型的行为。检索准确率在不同更新之间差异显著，从接近原生性能到大幅下降不等。在源缓存已可用的情况下，复用使三个长前缀问答基准上的首 token 时间中位数加速达到 $2.10$--$5.08\times$。为刻画这些结果背后的行为差异，我们引入了功能缓存散度（Functional Cache Divergence），用于比较复用缓存与原生缓存下的下一 token 分布。直接 KV 缓存复用在自然文本续写中能更好地保留原生模型行为，而在单 token 检索任务中，兼容性会随前缀长度增加而下降。答案边际分析有助于解释正确的检索决策如何在内部状态发生显著变化时仍得以保留。然而，即便在第一个生成 token 上达成一致，也不能保证答案内容或停止行为一致。这些发现确立了任务效用与对原生推理的保真度，作为评估跨版本 KV 缓存复用的两项不同标准。
| 学科： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14051 [cs.DC] |
| （或本版本的 arXiv:2611.14051v1 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2611.14051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeke Tao [查看邮箱]
[v1]
2026年11月10日星期二 13:17:04 UTC（213 KB）
来源：arXiv cs.AI · arxiv.org