arXiv cs.AI· Haomiao Qiu, Yining Tang, Zijia Song, Ruizi Han, Ziyue Qiao, Miao Zhang·· 3 天前AI 评分38
CacheLink：面向零预填充跨模型上下文交接的功能性 KV 传输
CacheLink: Functional KV Transport for Zero-Prefill Cross-Model Context Handoff
AI 导读
CacheLink 通过直接学习接收方行为下的耦合 K/V 校正，实现零预填充的跨模型上下文交接。在四组独立训练的发送方-接收方模型对和七个评测面板上，CacheLink 在所有模型对上的等权平均指标均优于其他方法；在 32K 上下文下，相比接收方重新预填充，交接延迟最多降低 7.27 倍。
正文 · AI 翻译
摘要：KV 缓存通过复用过去的计算使长上下文服务变得高效，但模型切换会破坏这种复用，迫使接收方重新预填充上下文。我们研究 \emph{零预填充跨模型上下文交接}：将发送方缓存转换为接收方兼容的状态，使接收方可以直接继续，而无需预填充相同上下文。现有的仿射传输方法表明，接收方 KV 状态可以从发送方缓存中大幅重建。然而，通过大量分析，我们发现重建保真度并不能很好地代表接收方效用。相似的 K/V 重建误差可能导致显著不同的注意力模式、预测分布和下游准确率，因为传统重建目标忽视了 K 和 V 在接收方注意力中依赖查询的功能重要性。因此，我们提出 CACHELINK，它直接通过接收方行为学习耦合的 K/V 校正。在四对独立训练的发送方--接收方组合和七个评估面板上，CACHELINK 在每一对上都提升了所有方法的等权平均值。在匹配诊断中，CACHELINK 使 K/V 平方误差变化小于 0.4%，同时显著改变接收方注意力和下一 token 行为。在 32K 上下文下，它相对于接收方重新预填充将交接延迟最多降低 $7.27\times$。我们的发现验证了仅靠重建保真度是不够的，保持由传输缓存所诱导的接收方计算对于有效的跨模型 KV 传输非常重要。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15509 [cs.LG] |
| （或 arXiv:2610.15509v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15509 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zijia Song [查看电子邮件]
[v1]
2026年10月11日星期日 10:19:31 UTC（650 KB）
来源：arXiv cs.AI · arxiv.org