arXiv cs.AI· Yuzhe Liu, Haolin Tian, Tonghan Wang·· 1 天前AI 评分38
ACCT：跨 LLM 的非对称上下文迁移
ACCT: Asymmetric Cross-LLM Context Transfer
AI 导读
研究者提出 ACCT（Asymmetric Cross-LLM Context Transfer），可将同一模型族内源模型产生的 KV cache 转换为稀疏 KV 状态，供不同规模的目标模型直接复用，无需重新处理原始上下文。
正文 · AI 翻译
摘要：在真实部署中，大语言模型（LLM）系统正日益从单模型调用演变为异构部署，即动态调用不同模型进行推理。然而，当同一上下文在多个模型间复用时，每个新选定的目标模型通常必须重新处理该上下文，从而反复产生大量计算开销。为此，我们提出 ACCT（非对称跨 LLM 上下文迁移），其目标是在同一模型家族内不同规模的模型之间迁移 KV 缓存。ACCT 将源模型产生的 KV 缓存转换为稀疏 KV 状态，可直接由目标模型使用，从而实现上下文计算的跨模型复用，并将上下文计算与下游推理解耦。ACCT 由三个轻量级组件构成：Cartographer 为每个目标层和 KV 头识别与查询相关的上下文 token；Allocator 在共享的总 KV 预算下确定每个目标层和 KV 头保留多少上下文 token；Compiler 将选定的源 KV 转换为稀疏目标 KV。因此，目标模型可以使用迁移后的 KV 进行推理，而无需重新处理原始上下文。我们在两个互补的设置中评估 ACCT，包括五个通用能力基准和六个高度依赖上下文的任务。实验表明，即使将 KV 缓存大小减少 75%，ACCT 也能达到或超过目标模型原有的推理性能。在上下文长度约为 19K token 时，ACCT 的 KV 转换相比目标上下文预填充实现了 6.5-21.2 倍的加速。这些结果证明了在有限 KV 预算下跨模型迁移上下文计算的可行性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.42116 [cs.AI] |
| （或 arXiv:2610.42116v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42116 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haolin Tian [查看邮箱]
[v1]
2026年10月30日星期五 17:50:49 UTC（501 KB）
来源：arXiv cs.AI · arxiv.org