Hugging Face Daily Papers· Vincent-Daniel Yun·· 18 天前AI 评分30
HeteroFold：面向异构多智能体 LLM 的免预填充跨模型族 KV cache 迁移
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
AI 导读
HeteroFold 是一种免预填充的跨模型族 KV cache 迁移方法，让发送方与接收方模型均保持冻结，从而省去接收方对共享上下文的重复预填充。该方法需应对不同模型族在分词、模型深度和 KV 表示上的差异，通过对齐模型结构并映射 KV 表示来实现迁移。
来源：Hugging Face Daily Papers · huggingface.co