LEDGE:异构边缘设备分布式LLM服务模拟器
热点事件持续更新
LEDGE:异构边缘设备分布式LLM服务模拟器
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Zihao Wang 等作者提出并发布 LEDGE,一款不执行张量运算的轻量级模拟器,用于快速、细粒度评估异构边缘设备上的分布式 LLM 服务。作者称,在 10 台 Jetson 与 Raspberry Pi 设备、覆盖 4 个 LLM 家族 17 种模型-精度组合的测试平台上,Qwen 部署的请求级 MAPE 低于 3.6%,相比物理推理实现 135.3 倍聚合加速。 源代码已公开。
AI 根据报道生成 · 52 分钟前更新
最新进展11月20日 13:00
LEDGE:面向异构边缘设备分布式 LLM 服务的高效模拟器报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AILEDGE:面向异构边缘设备分布式 LLM 服务的高效模拟器
LEDGE 是一款无需执行张量运算的轻量级模拟器,可快速细粒度评估异构边缘设备上的分布式 LLM 服务。在 10 台 Jetson 与 Raspberry Pi 设备、覆盖 4 个 LLM 家族 17 种模型-精度组合的测试平台上,Qwen 部署的请求级 MAPE 低于 3.6%,相比物理推理实现 135.3 倍聚合加速。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。