arXiv cs.CL· Bowei He, Yankai Chen, Xiaokun Zhang, Changjiang Han, Ye Yuan, Chong Li, Xue Liu·· 11 小时前AI 评分41
Agentic RL 的数据扩展规律：环境、任务与轨迹三维度如何取舍
How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies
AI 导读
研究将 Agentic RL 的训练数据拆为任务、环境、轨迹三个基数轴并拟合各自的扩展律，在多种 LLM、数学+代码、SWE、Web、UI/工具领域及 PPO、GRPO 算法上测得扩展指数排序为环境 > 任务 > 轨迹。作者据此为合成方法定价并推导出 Chinchilla 式算力最优配方，验证显示相比主流的“扩展轨迹”做法可提升至多 1.7 倍算力效率。
正文 · AI 翻译
摘要：预训练缩放定律将训练数据视为一维量：token 数量。智能体强化学习（RL）继承了这种标量抽象，但现代合成流水线现在以截然不同的成本独立生成\textit{任务}、\textit{环境}和\textit{轨迹}，将数据转变为结构化的设计空间。这引出了预训练从未需要回答的问题：给定合成预算，应该缩放\textit{哪个轴}？我们通过三个紧密耦合的贡献端到端地解决这个问题。首先，我们将智能体数据分解为三个基数轴（任务、环境、轨迹），外加一个奖励密度控制变量，并在数学+代码、SWE、Web 和 UI/工具应用领域的不同大语言模型（LLM）上拟合各轴的缩放关系。在我们测量的所有模型规模、模型家族、领域和 RL 算法（PPO 和 GRPO）中，缩放指数的排序为环境 $>$ 任务 $>$ 轨迹。当环境多样性被分解为世界多样性和环境结构多样性时，其优势主要由前者驱动，而后者仅与任务多样性相当。其次，我们使用拟合的定律作为通用标尺来为合成方法定价，将每种方法的效率捕获为各轴的折扣因子，并识别出崩溃开始的关键合成与真实比例；这些比例在各轴之间相差一个数量级。第三，我们将预算分配转化为我们定律和折扣下的约束优化，推导出 Chinchilla 风格的计算最优配方，并在留出规模上验证。实证结果表明，遵循该配方比主流的“缩放轨迹”实践最多可带来 $1.7\times$ 的计算效率。
| 评论： | 本文已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23946 [cs.LG] |
| （或 arXiv:2610.23946v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23946 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bowei He [查看邮箱]
[v1]
2026年10月8日星期四 15:55:21 UTC（1,442 KB）
[v2]
2026年10月20日星期二 01:59:17 UTC（1,442 KB）
来源：arXiv cs.CL · arxiv.org