MoE-SpAc：异构边缘MoE推理框架发布
热点事件持续更新
MoE-SpAc：异构边缘MoE推理框架发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shuhuai Li等作者提出面向异构边缘场景的MoE推理框架MoE-SpAc，将推测解码用作内存管理的前瞻传感器，并集成推测效用估计器、异构负载均衡器和异步执行引擎。作者称，在七个基准上，其TPS较SOTA的推测解码基线提升42%，相对所有标准基线平均加速4.04倍。代码已开源。
AI 根据报道生成 · 54 分钟前更新
最新进展10月26日 12:00
MoE-SpAc：异构边缘场景下基于推测激活效用的高效 MoE 推理报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.CLMoE-SpAc：异构边缘场景下基于推测激活效用的高效 MoE 推理
MoE-SpAc 是一个面向异构边缘场景的 MoE 推理框架，将推测解码（SD）用作内存管理的前瞻传感器，并集成推测效用估计器、异构负载均衡器和异步执行引擎。在七个基准上，其 TPS 较 SOTA 的 SD 基线提升 42%，相对所有标准基线平均加速 4.04 倍。代码已开源。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。