arXiv cs.CL· Fei Bai, Huatong Song, Chuan Hao, Ran Tao, Jian Yang, Bryan Dai, Wayne Xin Zhao, Ji-Rong Wen·· 12 小时前AI 评分34
Harness Scaling：面向可泛化智能体强化学习的执行框架扩展方法
Harness Scaling for Generalizable Agentic Reinforcement Learning
AI 导读
研究者提出 Harness Scaling，将智能体强化学习的训练从单一 harness 扩展到多样化执行配置，通过构建因子化 harness 空间并选取均衡覆盖的紧凑训练子集来组织跨 harness 训练。
正文 · AI 翻译
摘要：Agent harness 已成为现代智能体系统的核心组件，它决定了模型如何使用工具、管理上下文以及协调长程交互。要发挥这些 harness 的优势，取决于底层模型能否有效地利用它们，这促使人们直接通过 harness 进行强化学习。然而，现有方法通常只通过单一固定的 harness 进行训练，这可能导致模型过度专门化，并限制其在不同 harness 配置之间的迁移能力。为解决这一问题，我们提出了 \textbf{Harness Scaling}，这是面向智能体强化学习的一个新的扩展维度，将训练从单一 harness 扩展到多样化的执行配置。具体而言，我们构建了一个因子化的 harness 空间，选取了一个具有均衡因子覆盖的紧凑训练子集，并组织跨 harness 训练，以将全局覆盖与同一任务上的受控变化相结合。在多个基准、模型规模和强化学习算法上，Harness Scaling 都能持续提升模型对未见过的白盒配置的泛化能力。此外，通过结构化白盒变化训练的模型能够有效迁移到未见过的外部黑盒 harness，其表现优于通过单一复杂黑盒 harness 训练的模型。这些结果确立了 harness 多样性作为智能体强化学习一个有意义的扩展维度，并凸显了组织这种多样性以实现跨 harness 泛化的重要性。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29458 [cs.LG] |
| （或 arXiv:2610.29458v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29458 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fei Bai [查看邮箱]
[v1]
2026年10月21日星期三 09:15:50 UTC（2,347 KB）
来源：arXiv cs.CL · arxiv.org