arXiv cs.CL· Jiacheng Cai, Tao Zhang, Siqi Liang, Yun Dai, Ziqian Zeng·· 11 小时前AI 评分34
超越 K/V 缓存：混合线性注意力 LLM 的跨模型状态交接
Beyond K/V Caches: Cross-Model State Handoff in Hybrid Linear-Attention LLMs
AI 导读
研究提出 Hybrid State Transfer（HST），在混合线性注意力 LLM 间同时交接 FA 缓存、循环状态（REC）与卷积历史（Conv）三类状态。在五个基准上，Qwen3.5 4B→27B 与 9B→27B 的平均任务保留率分别为 89.88% 和 94.11%；在源缓存已就绪时，合成 16K 输入上的交接主体加速达 21.66× 和 21.91×。
正文 · AI 翻译
摘要：生产部署通常使用不同的模型，通过级联、路由以及在长对话中切换模型来平衡成本与质量。上下文会跨轮次累积。每次切换都要求目标模型在该上下文上重复预填充。现有方法在不同模型之间迁移全注意力（FA）K/V 缓存。混合线性注意力模型还会保留循环状态（REC）和卷积历史（Conv）。Conv 与 REC 之间的相互作用使跨模型状态迁移变得复杂。Conv 扰动会改变循环层中的键和值，并改变 REC 更新。Conv 历史会被覆盖，但 REC 的变化仍可能影响后续输出。更准确地重建 REC 未必能改善续写。基于此，我们针对全部三种状态类型提出了混合状态迁移（HST）。它使用结构化 REC 映射，并在 Conv 对齐期间保持历史顺序。我们利用冻结目标模型在续写期间的输出校准适配器。FA 缓存映射更新在离线阶段合并。在五个基准上，Qwen3.5 4B$\rightarrow$27B 和 9B$\rightarrow$27B 的平均任务保持率分别为 89.88% 和 94.11%。在源缓存已可用的情况下，对合成 16K 输入单独计时，交接主体分别获得 $21.66\times$ 和 $21.91\times$ 的加速。
| 评论： | 12 页，4 幅图，9 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08133 [cs.CL] |
| （或 arXiv:2611.08133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08133 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiacheng Cai [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 15:00:50 UTC（351 KB）
来源：arXiv cs.CL · arxiv.org