arXiv cs.AI· Han Shen, Qifu Tyler Sun, Fanyang Meng, Ye Wang, Yongsheng Liang·· 2 天前AI 评分22
PriorityFEC：面向边缘多智能体系统 KV-Cache 交接的截止时间感知流式 FEC
PriorityFEC: Deadline-Aware Streaming FEC for KV-Cache Handoff in Edge Multi-Agent Systems
AI 导读
PriorityFEC 是一种面向边缘多智能体 LLM 系统的 KV-Cache 交接方案，通过将高价值 KV 块前置并按接收端反馈调度修复包，在 TTFT 截止时间前保护最有价值的 KV 信息。该方案在分布式边缘 LLM 服务原型上以 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 评测，任务质量优于对比传输方案，且在截止时间约束严格时优势更明显。
正文 · AI 翻译
摘要：多智能体大语言模型（LLM）系统正越来越多地部署在边缘端，以支持需要多个智能体之间协作与信息交换的复杂任务。然而，当任务上下文在智能体之间传递时，已被上游智能体处理过的共享上下文往往需要再次预填充，导致大量冗余计算。复用已预填充的键值（KV）缓存可以避免这种重复计算，但需要将可复用的 KV 状态通过网络传输后，接收方智能体才能开始生成。在严格的首次令牌时间（TTFT）截止期限和不可靠的边缘链路下，传输完整的 KV 缓存可能不可行，因此有必要在有限的传输预算内对最有价值的 KV 信息进行优先级排序和保护。本文提出 PriorityFEC，一种效用感知的 KV 缓存交接方案，联合利用模型侧的 KV 重要性和传输侧的可靠性。PriorityFEC 首先通过将高效用 KV 块置于更早的传输位置来构建效用感知的源流。然后，它使用反馈自适应的流式前向纠删（FEC）机制保护有序流，该机制在 TTFT 截止期限前根据接收方反馈调度修复包。我们在分布式边缘 LLM 服务原型上实现了 PriorityFEC，并使用 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 在多个数据集上进行了评估。结果表明，PriorityFEC 在所比较的传输方案中实现了更优的任务质量，其优势在严格的截止期限约束下尤为明显。这些结果表明，当可复用的 LLM 状态必须在不可靠的边缘网络间交接时，联合优化 KV 缓存效用和截止期限感知的传输可靠性至关重要。
| 学科： | 网络与互联网架构（cs.NI）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21390 [cs.NI] |
| （或本版本的 arXiv:2610.21390v1 [cs.NI]） | |
| https://doi.org/10.48550/arXiv.2610.21390 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Han Shen [查看电子邮件]
[v1]
2026年10月15日星期四 07:06:10 UTC（1,534 KB）
来源：arXiv cs.AI · arxiv.org