阿里 Qwen 推出 QwenGyre：面向超长时程智能体的弹性强化学习框架
阿里 Qwen 团队推出 QwenGyre，一个面向超长时程智能体训练的弹性强化学习框架，可在未经修改的黑盒 harness 中训练编码智能体，单次 rollout 处理近 1M tokens。
MarkTechPost· Asif Razzaq·2026-10-13 05:41· 5 小时前AI 评分45
阿里巴巴 Qwen 推出 QwenGyre：面向超长时程智能体的弹性强化学习 RL
AI 导读
阿里 Qwen 团队推出 QwenGyre，一个面向超长时程智能体训练的弹性强化学习框架，通过在线 RL 在未经修改的黑盒 harness 中训练编码智能体，单次 rollout 可运行数小时、处理近 1M tokens。
正文
阿里巴巴的 Qwen 团队推出了 QwenGyre，一个面向极长时程智能体训练的弹性强化学习 RL 框架。QwenGyre 是阿里巴巴的在线强化学习系统，通过未经修改的黑盒 harness 训练编码智能体。它的目标是那些运行数小时、处理近 1M tokens 的 rollout。QwenGyre 弹性 RL 框架被用于 Qwen 的旗舰 Qwen 3.8 2.4T 模型。它基于 2 个核心理念。它在 rollout 和训练之间调度空闲 GPU。它还将分支的智能体历史转化为有界的训练样本。
TL;DR
- 规模：一个训练框架，而非模型。在 Qwen 3.6 122B 和 Qwen 3.8 2.4T（每个 Qwen 为 A95B）上测试，每次 rollout 约 700K tokens。
- 运行于：多节点 GPU 集群。122B 运行使用 24 到 32 个节点；2.4T 运行使用 192 个节点（4 个 cell，每个 48）。GPU 型号未披露。Megatron 负责训练，SGLang 负责 rollout 服务。
- 性能：在分数相当时，比 Async 快 1.38x 到 1.78x，比 Colocate 快 1.21x 到 1.85x。
- 最佳：在 TerminalBench 上相比 Colocate 实现 1.85x 端到端加速。
- 最差：在 2.4T 模型上相比 Colocate 仅 1.21x，其中许多查询接近超时。
- Bottom line:
- 最佳：NL2RepoBench 在 48 步内从 52.5% 升至 58.5%。
- 最差：论文未链接任何公开代码发布。
QwenGyre 解决了什么问题？
研究团队将“XLong-horizon”任务定义为跨越数小时、包含数百次模型与工具交互的智能体运行。示例包括根据规格生成完整仓库，如 NL2Repo-Bench。
在这个规模下会出现两个问题：
- 第一，rollout 有长尾。在 Colocate 设置中，训练等待最慢的执行，而 GPU 处于空闲。在 Async 设置中，固定的 GPU 池无法相互借出闲置容量。
- 第二，像 Claude Code 这样的 harness 会压缩上下文、生成子智能体并重试。一次执行变成一棵分支树，而非单一轨迹。展开每条路径会复制共享前缀并抬高训练成本。
弹性调度器如何工作？
QwenGyre 将 GPU 划分为共享同一训练布局的 cell。每个 cell 可以服务 rollout 或承载一个完整的训练副本。一个核心 cell 拥有权威权重和优化器状态。卫星 cell 稍后加入训练。
调度器跟踪 rollout 水位：排队中和运行中的执行。随着执行完成，一旦剩余 cell 仍能服务所有活跃工作，cell 就切换到训练。模型调用通过代理重新路由，因此 harness 保持运行。
关键机制：
- KV-cache 块在重新路由期间通过 RDMA 迁移，减少前缀重计算。
- 卫星通过 Mooncake 的 Transfer Engine 拉取核心权重，并加入正在进行的批次。
- 流式训练让 cell 在数据就绪时认领微步。
- 平均角色切换耗时 8.52 秒（rollout 到训练）和 3.46 秒（训练到 rollout）。
轨迹处理器如何构建训练样本？
代理使用 token-in, token-out (TITO) 记录精确的 token ID 和行为对数概率。调用以共享前缀的轨迹树形式存储。
- 部分评分：超时执行仍会根据其保留的工作区进行评分。评估器故障会被排除，绝不会被视为零奖励。
- 有界采样：每次执行最多保留 5 条轨迹，按 main > main-summary > sub-agent > sub-agent-summary 排序。
- 去重：共享目标只计一次，且仅训练策略生成的 token。
- 公平加权：损失在每次执行内取平均，因此额外的分支不会增加其权重。
上限设为 5 时，匹配的无上限训练分数，同时将前向-反向时间缩短了 25.2%。训练使用改编的 GSPO，每组 16 次 rollout。
QwenGyre 有多快？基准测试结果
所有运行均使用 Claude Code 2.1.220 作为 harness，GPU 预算相同且陈旧度匹配。
| 工作负载（模型） | 对比 Async | 对比 Colocate |
|---|---|---|
| NL2RepoBench（Qwen 3.6 122B，48 步） | 1.42x 至 1.53x | 1.36x 至 1.47x |
| DeepSWE（Qwen 3.6 122B，24 步） | 1.569x 至 1.572x | 1.610x 至 1.824x |
| TerminalBench（Qwen 3.6 122B，24 步） | 1.383x 至 1.430x | 1.809x 至 1.849x |
| NL2RepoBench（Qwen 3.8 2.4T，48 步） | 1.78x | 1.21x |
在 2.4T 模型上，QwenGyre 在 75.42 小时内完成了 48 步。Async 耗时 134.55 小时，Colocate 耗时 91.47 小时。评估通过率从 52.48% 提升至 58.54%。
QwenGyre 与其他智能体 RL 框架相比如何？
| 特性 | QwenGyre | veRL | AReaL | Agent Lightning |
|---|---|---|---|---|
| 开发者 | Alibaba Qwen | ByteDance Seed + community | Tsinghua IIIS + Ant Group | Microsoft |
| 许可证 | 未披露 | Apache-2.0 | Apache-2.0 | MIT |
| GPU 放置 | 弹性单元，rollout 中途切换 | 灵活设备映射，HybridEngine 重分片 | 完全异步 | 未披露 |
| 黑盒 harness | 是，通过代理 | 未披露 | 是，通过 base_url 替换 | 是，几乎零代码改动 |
| 训练 / rollout | Megatron / SGLang | FSDP、Megatron / vLLM、SGLang | Megatron、FSDP、Archon / vLLM、SGLang | 未披露 |
| 声明的最大规模 | Qwen 3.8 2.4T | 671B 模型 | 未披露 | 未披露 |
| 头条加速 | 对比 Colocate 最高 1.85x | 未披露 | 对比同步（v0.3）2.77x | 未披露 |
| 公开代码 | 未披露 | 是 | 是 | 是 |
加速数据来自各项目自身的设置，不可直接比较。
关键要点
- QwenGyre 在不停止运行中智能体的情况下，在 rollout 和训练之间移动 GPU。
- 轨迹树将每次执行的样本上限设为 5，并只训练共享前缀一次。
- 超时运行仍会根据其部分工作进行评分。
- 比 Colocate 最高快 1.85x，比 Async 快 1.78x。
- Qwen 3.8 2.4T 在 NL2RepoBench 上 48 步内从 52.5% 提升至 58.5%。
查看 arXiv 上的完整 QwenGyre 论文以及 Qwen 的公告文章。所有功劳归于该项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 15 万+ 机器学习 SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
文章 阿里巴巴 Qwen 推出 QwenGyre：面向超长时程智能体的弹性强化学习 RL 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news