研究者提出单边专家并行通信方法
热点事件持续更新
研究者提出单边专家并行通信方法
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Bo Li 等作者提出 NVLinkOneSided，一种面向单个 NVLink 域内 GPU 的单边专家并行（EP）all-to-all 通信方法，用于 MoE 推理。 该方法让源 rank 无需先交换元数据，即可把 token 推入目标 GPU 的 rank-major 缓冲区，再由分组 GEMM 原地读取。上述效果来自作者在论文中的描述。
AI 根据报道生成 · 45 分钟前更新
最新进展11月11日 13:00
NVLinkOneSided：面向 NVLink 域内 MoE 推理的单边专家并行 all-to-all报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.CLNVLinkOneSided：面向 NVLink 域内 MoE 推理的单边专家并行 all-to-all
研究者提出 NVLinkOneSided，一种面向单 NVLink 域内 GPU 的单边 EP all-to-all 方案，源 rank 无需先交换元数据即可将 token 推入目标 GPU 的 rank-major 缓冲区，分组 GEMM 原地读取。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。