arXiv cs.AI· Renxi Wang, Bilal El Bouardi, Rifo Ahmad Genadi, Yongxin Wang, Shu Wang, Fajri Koto, Zhengzhong Liu, Timothy Baldwin, Haonan Li·· 9 天前AI 评分32
AgentFly：用统一资源系统扩展智能体强化学习
AgentFly: Scaling Agentic Reinforcement Learning with Unified Resource System
AI 导读
AgentFly 是一个智能体强化学习框架，通过统一资源层将沙箱、模型服务和外部 API 等异构环境视为按类型调度的资源，支持按工具获取以复用多轮、异步背压以及 rollout 与全局作用域的生命周期。该框架采用智能体、rollout、上下文和底层资源四层设计，并提供预置工具与环境，在多个任务和模型上完成训练，同时给出首个跨框架吞吐量对比。
正文 · AI 翻译
摘要：构建 LLM 智能体的方法已从提示工程和监督微调演进到智能体强化学习（agentic RL）。然而，agentic RL 仍受其周边系统的瓶颈制约：智能体必须与异构环境交互，例如沙箱、模型服务和外部 API。它们的分配、复用和生命周期主导了 rollout 成本，并限制了训练可实际进行的规模。在这项工作中，我们提出了 AgentFly，一个 agentic RL 框架，它构建于统一的资源层之上，将上述每种环境视为一种独立的、有类型的资源，通过单一引擎进行调度，支持按工具获取以实现多轮复用、异步背压，以及 rollout 与全局作用域的生命周期。AgentFly 采用四层设计：（I）智能体层，抽象智能体、工具和奖励概念，将 agentic RL 分解为定义智能体、工具和奖励函数；（II）rollout 层，将这些组合成智能体循环并计算奖励；（III）上下文层，组织 rollout、注入上下文信息并安排资源；（IV）底层资源层，执行资源管理。我们提供了一套预置工具和环境，展示了在多个任务和模型上成功进行智能体训练，并报告了首个针对 agentic RL 框架的受控跨框架吞吐量比较。
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.5 |
| 引用为： | arXiv:2507.14897 [cs.AI] |
| （或 arXiv:2507.14897v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.14897 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Renxi Wang [查看电子邮件]
[v1]
2025年7月20日星期日 10:22:36 UTC（947 KB）
[v2]
2026年10月8日星期四 17:02:18 UTC（2,847 KB）
来源：arXiv cs.AI · arxiv.org