arXiv cs.CL· Swapnil Gandhi, Siva Kumar Sastry Hari, William J. Dally, Christos Kozyrakis·· 11 小时前AI 评分38
PACE：为 LLM 服务中的分支并行调度节流
Pacing Branch Parallelism in LLM Serving
AI 导读
PACE 是一种逐步准入控制器，把 LLM 输出中的额外分支视为机会性宽度，仅当预测的分支外部性落在批次当前 slack 预算内时才准入。在 Qwen3-32B 上，PACE 相比无分支并行服务提升 goodput 1.77 倍、相比 eager 准入提升 1.48 倍，并保持 99% SLO 达成率。在另外五个密集与 MoE 模型（最高 671B 参数）上取得 1.72–2.15 倍的可比增益。
正文 · AI 翻译
摘要：近期方法揭示了 LLM 输出中的请求内并行性，使独立分支能够并发解码。现有服务系统要么急切执行这些分支，要么在固定上限下执行。我们表明两者都很脆弱：急切准入会膨胀共享解码步，从而在串行阶段降低同批请求的性能；而保守的固定上限则放弃了最初促使暴露分支的吞吐量。我们将已准入分支导致的额外步延迟称为\emph{分支外部性}，并表明安全宽度取决于批次组成、上下文长度和累积松弛量，而这些都会在工作负载轨迹中持续变化。我们提出 PACE，一种逐步准入控制器，它将额外分支视为机会性宽度，仅当预测的分支外部性适合批次当前松弛预算时才准入。逐步调节是可行的，因为分支级调度将计算与内存解耦：分支共享请求的前缀 KV，因此扩展或收缩宽度无需内存回收。在 Qwen3-32B 上，PACE 相比无分支并行的服务将有效吞吐量提升 $1.77\times$，相比急切准入提升 $1.48\times$，同时保持 99\% 的 SLO 达成率。在另外五个参数规模高达 671B 的稠密和混合专家模型上，也取得了可比的增益（$1.72$--$2.15\times$）。代码可在 此 https URL 获取
| 评论： | NeurIPS'26 | 相机就绪版 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.06914 [cs.DC] |
| （或 arXiv:2605.06914v2 [cs.DC] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.06914 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Swapnil Gandhi [查看电子邮件]
[v1]
2026年5月7日星期四 20:23:32 UTC（252 KB）
[v2]
2026年11月1日星期日 23:01:11 UTC（288 KB）
来源：arXiv cs.CL · arxiv.org