arXiv cs.AI· Jingpo Xu, Paul Joe Maliakel, Ivona Brandic, Shashikant Ilager·· 10 天前AI 评分24
DySCo：面向边缘-云协同 LLM 推理的动态分片与深度同步批处理
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
AI 导读
DySCo 是一个边缘-云协同 LLM 推理运行时，通过将 KV cache 保留在本地并引入 dyForward 层范围执行器，无需重新加载权重即可运行可配置的连续层范围。其深度同步批处理（DSB）将异构请求推进到最深切分点并批处理公共后缀，在平均并发为 8 时吞吐量较 FIFO 提升 275%、较精确匹配批处理提升 48%、较轮询交错提升 79%，同时降低每会话平均延迟。
正文 · AI 翻译
摘要：普适智能应用越来越多地部署在移动和物联网（IoT）边缘设备上。因此，大型语言模型（LLM）越来越多地被用于支持这些应用。然而，由于其高资源需求，LLM 大多部署在云端。分层边缘-云推理使资源受限的边缘设备能够为其无法完整托管的 LLM 贡献计算。然而，异构切分点引入了两种相互耦合的低效问题。首先，边缘执行和通信在云调用之间产生空闲间隙。其次，到达不同模型深度的请求无法按常规方式进行批处理。我们提出 DySCo，一种协作运行时，它使 KV 缓存保持本地，并引入 dyForward，一种模型感知的层范围执行器，可从常驻模型分片运行可配置的连续层范围，而无需重新加载权重。对于多边缘服务场景，我们引入深度同步批处理（DSB），它将异构请求推进到最深的切分点，并对其公共后缀进行批处理。在异构设备、两个模型系列以及局域网和广域网链路上的实验表明，即使排除等待时间，空闲间隙也会增加后续 GPU 前向调用的延迟，在我们的测量中，每个解码步骤最多增加 25 ms 的云端后缀延迟。在平均并发数为八时，DSB 相比 FIFO 将吞吐量提高 275%，相比精确匹配批处理提高 48%，相比轮询交错提高 79%，同时降低平均每会话延迟。总之，这些结果表明，具有不同边缘-云切分点的请求可以复用常驻云权重并共享批处理后缀计算。本工作的制品仓库公开于：此 https URL
| 评论： | 提交中的文章 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.08268 [cs.DC] |
| （或 arXiv:2610.08268v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08268 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shashikant Ilager Mr [查看电子邮件]
[v1]
2026年10月6日星期二 12:42:11 UTC（145 KB）
来源：arXiv cs.AI · arxiv.org