arXiv cs.CL· Maciej Besta, Leonard Schmidt, Pierre Pang, Patrik Okanovic, Robert Gerstenberger, Torsten Hoefler·· 10 小时前AI 评分35
RPEG：可扩展且低成本地训练推理语言模型
RPEG: Training Reasoning Language Models Scalably and Cost-Effectively
AI 导读
研究者提出 RPEG（RLM Pipeline Execution Graph），一种以数据为中心的图中间表示，联合优化推理语言模型 RL 训练流水线的结构与执行，并配套覆盖计算、通信、内存及机架/节点/GPU 层级效应的性能模型。
正文 · AI 翻译
摘要：强化学习（RL）如今已成为训练推理语言模型（RLM）的核心，但 RLM 流水线难以扩展且运行成本高昂，因为每个 RL 步骤都耦合了多个大模型、异构阶段、跨步骤状态以及复杂的异步依赖。现有系统通常只优化这一设计空间中的部分环节。我们通过一种以数据为中心的新型图中间表示——RLM 流水线执行图（RPEG）——来联合优化流水线结构及其执行，从而应对这一复杂性。RPEG 将诸如受限异步和 actor-critic 共享等结构性选择，与阶段融合、细粒度调度和多维模型并行等执行优化一并呈现出来。它与一个面向 RLM 训练的全面分析性能模型相耦合，能够联合刻画计算、通信、内存以及机架、节点和 GPU 层级的分层效应。在多达 256 块 GH200 GPU 的系统上，我们实现 RPEG 的分布式运行时引擎相比 ReaL 性能提升最高达 2 倍，相比 verl 步骤延迟降低最高达 2.48 倍，同时硬件利用率提升最高达 30%。总体而言，RPEG 为面向前沿推理 LLM 的下一代训练流水线提供了图驱动的基础。
| 学科： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2611.09207 [cs.DC] |
| （或 arXiv:2611.09207v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09207 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Robert Gerstenberger [查看邮箱]
[v1]
2026年11月6日星期五 09:28:49 UTC（1,289 KB）
来源：arXiv cs.CL · arxiv.org