跳到正文
arXiv cs.AI· Oana Balmau, Saurav Banka, Jiaxuan Chen, Anne-Marie Kermarrec, Ramya Narasimha Prabhu, Rafael Pires, Mathis Randl, Martijn de Vos·· 10 小时前AI 评分31

BubbleTea:利用专家并行气泡进行微调

Harvesting Expert-Parallel Bubbles for Fine-Tuning

AI 导读

BubbleTea 是首个利用专家并行气泡做微调的共置系统,通过预测每层每个 GPU 的气泡并填入复用已加载权重的短微调任务,在四个 A100 上的三个 MoE 模型上微调吞吐比 LLMStation 快 1.9–6.2 倍。在突发生产流量下,其训练速度比 LLMStation 快 3.3 倍、比 CUDA MPS 下的原生训练器快 14 倍,p90 推理延迟保持在单独服务水平的 7% 以内。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:GPU 价格昂贵,但对延迟敏感的大语言模型(LLM)推理会让其中一部分 GPU 处于空闲状态。共置(colocation)通过在服务的同时运行尽力而为型工作(如微调)来回收这部分容量。如今许多领先的 LLM 采用混合专家(MoE)架构,这又带来了新的空闲时间来源。在专家并行下,MoE 专家分散在各 GPU 上,而由于路由器向每个 GPU 发送的 token 数量不均,负载较轻的 GPU 需要等待负载最重的 GPU。即使采用负载均衡方案,这类气泡仍占预填充时间的 8--13%。
我们提出 BubbleTea,这是首个利用专家并行气泡进行微调的共置系统。现有共置系统在每次前向传播时为所有 GPU 做一次调度决策,而 BubbleTea 不同,它根据路由器的 token 分配预测每个 GPU 在每一层的气泡,并用可复用服务已加载权重的短微调工作块来填充。我们还引入了编译器 pass,可直接从所服务的 LLM 自动推导出这些工作块,而无需将每种模型架构移植到单独的训练引擎。
我们在四块 A100 GPU 上对三个 MoE 模型进行评估,结果显示 BubbleTea 的微调吞吐量比最先进的共置系统 LLMStation 快 1.9--6.2$\times$。在 63 个工作负载中的 50 个上,BubbleTea 将 p90 推理延迟保持在仅服务时的 10% 以内,而 LLMStation 为 44 个。在突发性生产轨迹上,BubbleTea 的训练速度比 LLMStation 快 3.3$\times$,比在 CUDA MPS 下共置的现成训练器快 14$\times$,且 p90 推理延迟保持在仅服务时的 7% 以内。
评论: 12 页,8 张图
主题: 操作系统(cs.OS);人工智能(cs.AI);分布式、并行与集群计算(cs.DC)
引用为: arXiv:2611.24496 [cs.OS]
  (或 arXiv:2611.24496v1 [cs.OS] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24496

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ramya Prabhu [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 14:24:23 UTC(955 KB)

来源:arXiv cs.AI · arxiv.org