Hacker News· helloericsf·· 6 天前AI 评分34
QwenGyre：面向超长程智能体训练的弹性 RL 框架
QwenGyre: An Elastic RL Framework for Training XLong-Horizon Agents
AI 导读
阿里 Qwen 团队提出 QwenGyre，一个面向超长程在线 RL 的端到端框架，可在不中断执行的情况下弹性重分配 GPU，并通过轨迹处理器重建分支历史、评估部分进展、去重冗余路径。
正文 · AI 翻译
作者：Weiqi Wang、Yuxin Zhou、Mouxiang Chen、Siyuan Zhang、Yi Zhang、Yuyan Luo、Zhiyu Yin、Chencan Wu、Jiemin Jiang、Wentao Yao、Chujie Zheng、JianWei Zhang
摘要：大语言模型（LLM）智能体日益承担超长（xlong）时域任务，单次执行可跨越数小时、数百次模型—环境交互，且每次 rollout 消耗近 1M token。对此类执行应用在线强化学习（RL）面临两个根本性挑战：（1）严重的执行方差与漫长的 rollout 延迟导致大量 GPU 空转；（2）复杂的非线性分支产生海量轨迹冗余，严重拖累训练效率。为解决这些问题，我们提出 QwenGyre，一个面向超长时域在线 RL 的端到端框架。QwenGyre 可在不中断进行中执行的情况下，在 rollout 与训练之间弹性重新分配 GPU；其轨迹处理器重建分支历史、对部分进展打分，并对冗余路径去重，从而限制训练成本。将其扩展至我们的旗舰模型 Qwen~3.8 2.4T，每次 rollout 700K token，QwenGyre 在 48 步内于 NL2RepoBench 上取得 6.0% 的绝对提升（52.5% $\to$ 58.5%）。在多个领域训练数据集上的评估中，QwenGyre 相比 Colocate 和 Async 分别实现最高 $1.85\times$ 和 $1.78\times$ 的加速。
| 学科： | 机器学习（cs.LG）；分布式、并行与集群计算（cs.DC） |
| 引用格式： | arXiv:2609.33848 [cs.LG] |
| （或本版本使用 arXiv:2609.33848v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.33848 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mouxiang Chen [查看邮箱]
[v1]
2026年9月27日星期日 19:02:03 UTC（535 KB）
来源：Hacker News · arxiv.org