arXiv cs.AI· Jia Wei, Ziyi Qiu, Yi Xu, Xuehai Qian·· 11 小时前AI 评分31
FlexFloor：通过弹性专家并行实现资源高效的强化学习后训练
Resource-Efficient Reinforcement Learning Post-Training through Elastic Expert Parallelism
AI 导读
FlexFloor 是一个在同步响应生成阶段提前释放计算资源的系统，通过联合调整响应调度与活跃 worker 组，在保持专家可用性的同时逐步释放 worker。相比 verl 基线，其单位占用计算时间生成的响应 token 数提升约 65.40%，响应生成吞吐提升 52.74%，rollout reward 变化很小。
正文 · AI 翻译
摘要：强化学习后训练提升了大语言模型的能力，但生成训练响应是一个主要的计算瓶颈。在混合专家模型中，已完成所分配响应的 worker 可能仍被占用，因为处理较长响应的 worker 仍需要它们所承载的专家。因此，在基线中，约三分之一的被占用 worker 时间发生在本地响应生成完成之后。在此我们提出 FlexFloor，一个能够在同步响应生成期间提前释放资源、同时保留进行中响应所需的专家计算的系统。FlexFloor 联合调整响应调度与活跃 worker 组。它利用历史响应长度和内存约束来指导批处理与提示放置，随后在保持专家可用性和正确通信的前提下逐步释放 worker。与 verl 基线相比，FlexFloor 在单位被占用计算时间内生成的响应 token 数约多 65.40%，响应生成吞吐量提升 52.74%，且 rollout 奖励的观测变化很小。通过使强化学习后训练更高效，FlexFloor 支持大语言模型和 AI 智能体的更快开发与迭代改进。
| 评论： | 含参考文献和附录共 19 页，5 幅图 |
| 主题： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2611.06984 [cs.AI] |
| （或 arXiv:2611.06984v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.06984 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jia Wei [查看邮箱]
[v1]
2026年11月4日星期三 15:36:14 UTC（1,055 KB）
来源：arXiv cs.AI · arxiv.org