研究者提出CPU-GPU协同MoE推理系统
热点事件持续更新
研究者提出CPU-GPU协同MoE推理系统
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Wenhui Lv等研究者提出一种CPU-GPU协同的MoE推理系统，按专家负载分配执行位置：高负载专家传至GPU，低负载专家留在CPU，并动态调整分配以平衡两条执行路径。 在三个代表性MoE大语言模型上，该方法相比最强基线将prefill速度提升最高51.9%、decode吞吐提升最高39.5%，且在不同GPU显存预算下均保持稳定增益。
AI 根据报道生成 · 58 分钟前更新
最新进展10月19日 12:00
自适应专家分配实现高效 CPU-GPU 协同 MoE 推理报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.AI自适应专家分配实现高效 CPU-GPU 协同 MoE 推理
研究者提出 CPU-GPU 协同 MoE 推理系统，通过自适应专家分配将高负载专家传至 GPU、低负载专家留在 CPU 执行，并动态调整分配以平衡两条执行路径。在三个代表性 MoE 大语言模型上，该方法相比最强基线将 prefill 速度提升最高 51.9%、decode 吞吐提升最高 39.5%，且在不同 GPU 显存预算下均保持稳定增益。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。