arXiv·· 11 天前AI 评分22
DySCo：面向边缘-云协同 LLM 推理的动态分片与深度同步批处理
DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
AI 导读
DySCo 提出一种面向边缘-云协同 LLM 推理的动态分片与深度同步批处理方案，用于解决异构切分点带来的边缘执行与通信空闲间隙、以及云侧调用之间的耦合低效问题。该方法让资源受限的边缘设备通过逐层推理参与其无法完整承载的 LLM 计算。
来源：arXiv · arxiv.org