arXiv cs.AI· Sreetama Sarkar, Saptarshi Mitra, Sitao Huang, Souvik Kundu, Peter A. Beerel·· 9 天前AI 评分28
RaReCache：基于秩不一致选择性重算的跨模型 KV Cache 复用框架
RaReCache: Bridging the Gap in Cross-Model KV Cache Reuse via Rank disagreement-based Selective Recomputation
AI 导读
RaReCache 通过秩不一致度量识别信息密集 token，仅重算部分位置即可让大模型准确复用小模型预填充的 KV Cache。在 Qwen3-0.6B 到 14B 的 23 倍参数差距下，重算 30% 位置保留 95-99% 目标精度；Llama3-8B 到 70B 的 8.8 倍差距下，重算 40% 保留 96.5% 精度，并实现最高 3.04x 预填充加速。
正文 · AI 翻译
摘要：跨模型 KV 缓存复用仍是现代 LLM 服务中的一项关键挑战。编码智能体和多模型系统越来越多地将共享上下文在不同模型之间路由：用户可能在会话中途切换模型，或者级联系统可能将困难查询升级处理。由于 KV 缓存包含模型特定的表示，每次切换通常都会迫使接收模型从头预填充整个上下文。近期研究表明，闭式线性映射可以在同一系列模型之间转换 KV 缓存，但随着模型规模差距扩大，迁移准确率会下降。在本文中，我们确认这些迁移失败集中在少数信息密集的 token 上。为弥合这一差距，我们提出 RaReCache，一个通过选择性重计算，使大型目标模型能够从由小得多的源模型预填充的缓存中准确解码的框架。RaReCache 使用一种新颖的秩不一致性度量来识别这些关键位置，根据其映射后的 KV 在标定数据支持较弱的输出方向上的能量，为每个 token 打分。在两个模型系列和五个基准上，在 23 倍参数差距下（Qwen3-0.6B 到 14B），仅重计算 30% 的位置即可保留目标准确率的 95-99%；而在 8.8 倍差距下（Llama3-8B 到 70B），重计算 40% 可保留目标准确率的 96.5%。RaReCache 基本消除了对源模型规模的敏感性，并实现了最高 3.04 倍的预填充加速。对于在线服务，在单块 GPU 上，其请求吞吐量是目标模型预填充的 1.8 倍；在目标模型的饱和负载下，以 30% 的重计算预算，将首 token 时间（TTFT）的中位数和第 99 百分位数分别降低 5.0 倍和 6.4 倍。RaReCache 建立了一种高效的服务范式，即小模型代表大规模目标模型进行预填充，使大模型仅重计算关键 token，从而大幅降低预填充延迟。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11358 [cs.AI] |
| （或 arXiv:2610.11358v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11358 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sreetama Sarkar [查看邮箱]
[v1]
2026年10月8日星期四 06:49:28 UTC（1,103 KB）
来源：arXiv cs.AI · arxiv.org