跳到正文
热点事件持续更新

BubbleTea 利用专家并行气泡加速 MoE 微调

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Oana Balmau 等作者提交论文,提出共置系统 BubbleTea,称其为首个利用专家并行气泡做微调的系统。它预测每层每个 GPU 的气泡,并填入复用已加载权重的短微调任务。 作者报告,在四个 A100 上对三个 MoE 模型微调,吞吐比 LLMStation 快 1.9–6.2 倍;突发生产流量下训练速度比 LLMStation 快 3.3 倍、比 CUDA MPS 下的原生训练器快 14 倍,p90 推理延迟保持在单独服务水平的 7% 以内。上述为论文作者报告的结果。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    BubbleTea:利用专家并行气泡进行微调

    BubbleTea 是首个利用专家并行气泡做微调的共置系统,通过预测每层每个 GPU 的气泡并填入复用已加载权重的短微调任务,在四个 A100 上的三个 MoE 模型上微调吞吐比 LLMStation 快 1.9–6.2 倍。在突发生产流量下,其训练速度比 LLMStation 快 3.3 倍、比 CUDA MPS 下的原生训练器快 14 倍,p90 推理延迟保持在单独服务水平的 7% 以内。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。