arXiv cs.AI· Zihao Wang, Ye Tian, Tajana Rosing, Nalini Venkatasubramanian·· 10 小时前AI 评分31
LEDGE:面向异构边缘设备分布式 LLM 服务的高效模拟器
LEDGE: An Efficient Simulator for Distributed LLM Serving on Heterogeneous Edge Devices
AI 导读
LEDGE 是一款无需执行张量运算的轻量级模拟器,可快速细粒度评估异构边缘设备上的分布式 LLM 服务。在 10 台 Jetson 与 Raspberry Pi 设备、覆盖 4 个 LLM 家族 17 种模型-精度组合的测试平台上,Qwen 部署的请求级 MAPE 低于 3.6%,相比物理推理实现 135.3 倍聚合加速。
正文 · AI 翻译
摘要:在异构边缘设备上评估分布式大语言模型(LLM)服务,需要探索多样的模型划分、设备放置和网络条件,这使得反复进行物理实验的成本很高。一个高效的边缘 LLM 服务模拟器必须支持多样、细粒度的放置配置,捕获运行时行为,并在保持低模拟开销的同时准确预测执行时间。我们提出 LEDGE,一个轻量级模拟器,可在不执行张量运算的情况下,对异构边缘设备上的分布式 LLM 服务进行快速、细粒度的评估。LEDGE 构建支持非均匀张量并行和流水线并行的事件图,使用从端到端测量中校准的可复用性能模型估计执行成本,并模拟共享链路争用。我们在由 10 台 Jetson 和 Raspberry Pi 设备组成的异构测试床上评估 LEDGE,覆盖 4 个 LLM 系列的 17 种模型—精度组合。在 Qwen 部署上,LEDGE 的请求级平均绝对百分比误差低于 3.6%,相比物理推理实现 135.3 倍的总体加速。在一个 LLM 系列上校准的性能模型在另外三个系列上实现 7.44% 的零样本端到端延迟 MAPE。进一步的模拟展示了共享链路争用如何影响放置决策,以及网络拓扑如何限制扩展。在四种边缘环境中,LEDGE 在 83.8 分钟内完成 26,773 次模拟运行,从而能够在多样资源条件和服务目标下高效探索部署策略。源代码公开于 此 https URL。
| 主题: | 分布式、并行与集群计算(cs.DC);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24085 [cs.DC] |
| (或 arXiv:2611.24085v1 [cs.DC] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24085 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zihao Wang [查看电子邮件]
[v1]
2026年11月18日星期三 09:11:43 UTC(499 KB)
来源:arXiv cs.AI · arxiv.org