跳到正文
热点事件持续更新

LEDGE:异构边缘设备分布式LLM服务模拟器

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Zihao Wang 等作者提出并发布 LEDGE,一款不执行张量运算的轻量级模拟器,用于快速、细粒度评估异构边缘设备上的分布式 LLM 服务。作者称,在 10 台 Jetson 与 Raspberry Pi 设备、覆盖 4 个 LLM 家族 17 种模型-精度组合的测试平台上,Qwen 部署的请求级 MAPE 低于 3.6%,相比物理推理实现 135.3 倍聚合加速。 源代码已公开。

AI 根据报道生成 · 52 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    LEDGE:面向异构边缘设备分布式 LLM 服务的高效模拟器

    LEDGE 是一款无需执行张量运算的轻量级模拟器,可快速细粒度评估异构边缘设备上的分布式 LLM 服务。在 10 台 Jetson 与 Raspberry Pi 设备、覆盖 4 个 LLM 家族 17 种模型-精度组合的测试平台上,Qwen 部署的请求级 MAPE 低于 3.6%,相比物理推理实现 135.3 倍聚合加速。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。