BubbleTea 利用专家并行气泡加速 MoE 微调
热点事件持续更新
BubbleTea 利用专家并行气泡加速 MoE 微调
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Oana Balmau 等作者提交论文,提出共置系统 BubbleTea,称其为首个利用专家并行气泡做微调的系统。它预测每层每个 GPU 的气泡,并填入复用已加载权重的短微调任务。 作者报告,在四个 A100 上对三个 MoE 模型微调,吞吐比 LLMStation 快 1.9–6.2 倍;突发生产流量下训练速度比 LLMStation 快 3.3 倍、比 CUDA MPS 下的原生训练器快 14 倍,p90 推理延迟保持在单独服务水平的 7% 以内。上述为论文作者报告的结果。
AI 根据报道生成 · 58 分钟前更新
最新进展11月20日 13:00
BubbleTea:利用专家并行气泡进行微调报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIBubbleTea:利用专家并行气泡进行微调
BubbleTea 是首个利用专家并行气泡做微调的共置系统,通过预测每层每个 GPU 的气泡并填入复用已加载权重的短微调任务,在四个 A100 上的三个 MoE 模型上微调吞吐比 LLMStation 快 1.9–6.2 倍。在突发生产流量下,其训练速度比 LLMStation 快 3.3 倍、比 CUDA MPS 下的原生训练器快 14 倍,p90 推理延迟保持在单独服务水平的 7% 以内。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。