LoongSage：面向前沿 LLM 的生产级高效 Agentic RL 框架

计算机科学 > 机器学习

arXiv:2610.16352 (cs)

作者：LoongSage Team：Bowei Song、Caiwei Zhao、Chuwen Liu、Dechuang Gu、Dong Fang、Feiyu Xie、Huaiyu Li、Hui Zhang、Jian Tian、Jian Wang、Jie Zhao、Liguang Li、Maoyun Wang、Meiyan Yang、Minghan Zhu、Pai Liu、Pandeng Yao、Renbao Tian、Ru Yang、Shuai Jia、Shuai Tan、Shuailong Li、Shuliang Li、Teng Jin、Tianze Yang、Wenbo Cui、Wenjing Bai、Wenkang Wu、Xiaowei Jiang、Xiaoyi Dong、Yanpeng Wang、Yanwen Wang、Yaohui Ma、Yawen Wang、Yihang Zhang、Yingjie Yan、Zhanbiao Lian、Zhenyu Lu、Zhida Hu、Zhihui Hao、Zhihui Hu、Zhiwen Xiao、Zhiyi Gao、Zhongwei Qi、Zhuangzhuang Wu、Ziqian Liu、Ziyue Zheng

查看 PDF HTML（实验性）

摘要：强化学习（RL）已成为大语言模型（LLM）后训练流程中的关键阶段。随着 LLM 能力前沿从静态推理转向智能体任务——其特点是外部工具调用、多轮交互和长程决策——现有主流 RL 框架变得日益笨重，抬高了采用、使用和调试的开销。为应对这些挑战，我们提出 LoongSage，一个智能体原生、完全异步的 RL 框架，其轻量核心约 14K 行代码。LoongSage 基于 Megatron 进行分布式训练、基于 SGLang 进行高吞吐推理，将编排集中于单个控制器进程，并将所有驻留 GPU 的组件封装为 Ray actor。它引入 AgentFlow，一种统一执行范式，可编排白盒与黑盒智能体。对于异步执行，它集成滑动窗口策略以限制轨迹陈旧度，并采用 TransferMesh——一种拓扑感知的同步机制，在每一步之后通过每个接收方可用的最快传输路径路由权重。除智能体 RL 之外，LoongSage 还包含一个内存高效的 Teacher Manager，将教师模型的扩展与 GPU 内存约束解耦，原生支持多教师同策略蒸馏。在四次完整训练运行上的广泛评估——涵盖复杂强化学习与多教师蒸馏——表明任务奖励稳步提升，同时训练-推理差距持续受控，且完全异步流水线消除了同步空闲气泡，维持了硬件利用率。

主题：	机器学习 (cs.LG)；计算与语言 (cs.CL)
引用为：	arXiv:2610.16352 [cs.LG]
	（或本版本的 arXiv:2610.16352v2 [cs.LG]）
	https://doi.org/10.48550/arXiv.2610.16352 由 DataCite 颁发的 arXiv DOI

提交历史

发件人：Minghan Zhu [查看邮箱]
[v1] 2026年10月12日星期一 08:08:16 UTC（998 KB）
[v2] 2026年10月16日星期五 03:07:10 UTC（998 KB）

当前浏览上下文：

cs.LG

切换浏览分类：

书签

文献与引用工具

与本文相关的代码、数据与媒体

演示

arXivLabs：与社区合作者共同开展的实验性项目

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观：开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。

有想法开展一个能为 arXiv 社区带来价值的项目吗？了解有关 arXivLabs 的更多信息。