arXiv cs.AI· Alexander Magro, Aristotle Martin, Ye Wang, Wen Chen·· 11 小时前AI 评分32
KOSMOS：面向通信-计算重叠的自调度持久化内核
KOSMOS: Self-scheduling Persistent Kernels for Communication-Compute Overlap
AI 导读
KOSMOS 是一个自调度持久化内核库，其工作组通过按消费者需求排序的队列，在数据就绪时切换通信与计算角色，无需调度器、逐调用代价模型或调优的切分比例。
正文 · AI 翻译
摘要：张量与序列并行（TP+SP）以及专家并行（EP）将集合通信置于 transformer 层的关键路径上。最先进的融合内核通过固定角色或调度来缓解这一问题，但这种刚性会留下大量空闲窗口。预测通信-计算切分也无法消除这些空闲窗口；预先确定的切分无法跟随数据就绪状态。我们提出 KOSMOS，一个用于自调度持久内核的库，其工作组使用按消费者需求排序的队列，在数据就绪时在通信与计算角色之间切换，无需调度器、每次调用的成本模型或调优的切分。KOSMOS 将 transformer 层的每个 TP+SP 集合通信与其 GEMM 融合，并在每个方向的一次启动中运行整个专家层，从路由器到折叠。在 AMD Instinct MI350X 和 AMD Instinct MI355X GPU 上评估，KOSMOS 在 BF16 下将 Megatron-LM 中的 TP+SP 端到端训练加速 1.10-1.28 倍，在 MXFP8 下加速 1.10-1.25 倍。KOSMOS 将 DeepSeek-V3 和 Qwen3-235B 代理的端到端训练相比 DeepEP 加速 1.29-1.83 倍。
| 评论： | 39 页，9 张图 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2611.07477 [cs.DC] |
| （或 arXiv:2611.07477v1 [cs.DC] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07477 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexander Magro [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 05:36:08 UTC（2,476 KB）
来源：arXiv cs.AI · arxiv.org