arXiv cs.AI· Zewen Huang, Xiangwen Zhuge, Yingkun Hu, Zheng Yang, Qiang Ma·· 4 小时前AI 评分32
HyCoInfer:面向异构 GPU-FPGA 架构的云边协同 LLM 推理系统
HyCoInfer: Cloud-Edge Collaborative Inference for Large Language Models on Heterogeneous GPU-FPGA Architectures
AI 导读
HyCoInfer 是一个将 prefill 放在云端 GPU、把解码分散到云端 GPU 与边缘 FPGA 的异构云边推理系统,在 500 Mbps 链路上实现最高达纯云端 vLLM 4.11 倍的请求吞吐量,平均端到端延迟最多降低 61.1%。
正文 · AI 翻译
摘要:大语言模型(LLM)服务主要依赖云端 GPU,但自回归解码受内存限制,常使其算术单元利用率不足。边缘 FPGA 提供有吸引力的解码效率,但单独难以支撑高并发服务负载。本文提出 HyCoInfer,一种异构云边服务系统,将预填充分配给云端 GPU,并将解码分布到云端 GPU 和边缘 FPGA 上。该设计解决了实际卸载的三个障碍:异构加速器间的容量均衡、跨越受限广域网链路的大 KV 缓存,以及异构执行带来的额外延迟。HyCoInfer 将 FPGA 解码容量纳入 GPU 预填充/解码角色划分,并根据队列负载、提示长度和网络状态放置请求。它进一步结合了逐层流水线传输、解码端预计算以及基于残差向量量化的带宽自适应 KV 缓存压缩。我们使用两块 NVIDIA V100 GPU 和一块 AMD Xilinx Alveo U280 实现 HyCoInfer,并在 100-1000 Mbps 链路上进行评估。在 500 Mbps 下,HyCoInfer 的请求有效吞吐量最高可达纯云端 vLLM 的 4.11 倍,并将平均端到端延迟降低最多 61.1%。在不同网络条件和工作负载下,该系统提升了整体服务容量,在通信密集型任务上收益最大,并降低了每请求能耗。
| 评论: | 10 页,13 幅图,3 张表 |
| 主题: | 操作系统(cs.OS);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22086 [cs.OS] |
| (或 arXiv:2611.22086v1 [cs.OS] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22086 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xiangwen Zhuge [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 02:14:54 UTC(1,548 KB)
来源:arXiv cs.AI · arxiv.org