arXiv cs.AI· Osayamen Jonathan Aimuyo, Swapnil Gandhi, Christos Kozyrakis·· 3 天前AI 评分33
Purlin：将集合通信的编排与数据通路分离
Purlin: Separating Orchestration from the Datapath of Collectives
AI 导读
Purlin 是一个将集合通信的语义、编排与数据通路解耦的 scale-up 通信框架，通过 SNAC 编排协议和硬件相关的 Atom 数据通路实现 copy 与 reduce 原语。
正文 · AI 翻译
摘要：分布式推理依赖于 GPU 集合通信，而集合通信必须跟上不断演进的硬件和专用工作负载。然而，现有工作往往将集合通信的语义、编排（数据在何处、何时移动）和数据通路（数据如何移动）耦合在一起。这种耦合使得采用新的硬件机制以及为应用定制通信变得代价高昂。我们提出 Purlin，一个将上述关注点分离的 scale-up 通信框架。在 Purlin 顶层，我们将集合操作指定为对输入和输出布局的命名以及复制或归约操作。在中间层，我们引入一种共享编排协议 Stage, Notify, And Consume（SNAC），它从这些规范中推导出协调过程。SNAC 之下是我们称为 Atom 的硬件特定数据通路，它实现了集合通信的两个关键数据移动原语：复制和归约。这种分离使我们能够定制集合通信并采用新的硬件机制，同时通过 SNAC 复用编排。我们在 A100、H200 和 B200 GPU 上评估 Purlin。在七种集合操作上，Purlin 相比基线实现了最高 5.14 倍的延迟加速和最高 4.50 倍的带宽提升。集成到 SGLang 后，Purlin 将离线 LLM 服务吞吐量和交互性平均提升 1.13 倍，最高提升 1.37 倍。对于在线 LLM 推理，Purlin 将交互性平均提升 1.26 倍，最高提升 2.85 倍，其中最大增益出现在过载情况下。对于扩散图像生成，Purlin 将端到端延迟最多降低 1.13 倍。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.36954 [cs.DC] |
| （或使用 arXiv:2609.36954v2 [cs.DC] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2609.36954 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Osayamen Aimuyo [查看邮箱]
[v1]
2026年9月29日星期二 07:57:27 UTC（417 KB）
[v2]
2026年10月13日星期二 01:29:43 UTC（476 KB）
来源：arXiv cs.AI · arxiv.org