arXiv cs.CL· Linhao Zhong, Bozhen Fang, Xuehao Wang, Duochao Shi, Zekai Luo, Guangming Yao, Yi Yuan, Hao Chen, Jingdong Chen, Chunhua Shen·· 3 天前AI 评分31
更多方法，更好的智能体？智能体强化学习中自蒸馏的现实检验
More Methods, Better Agents? A Reality Check on Self-Distillation in Agentic Reinforcement Learning
AI 导读
一项研究在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上对比了十种代表性方法与 GRPO，覆盖三种模型规模，共 132 次训练、12,124.4 H800 GPU-hours。结果显示：各方法相对 GRPO 的提升范围有限，没有一种方法能在所有设置下稳定胜出；强劲的最终性能可能掩盖训练不稳定，额外训练成本也未必带来更好表现。
正文 · AI 翻译
摘要：智能体强化学习中的自蒸馏已经产生了越来越多的方法。然而，现有评估往往在不同实验条件下复用已发表的基线分数，很少对同期方法进行直接比较，并且对训练稳定性和计算成本的关注有限。这些局限掩盖了所报告增益的来源以及竞争方法的实际优缺点。高昂的智能体训练成本进一步促使人们需要一个共同的比较基准。为弥补这些不足，我们在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上，针对三种模型规模，将十种代表性方法与 GRPO 进行了比较。我们的研究包含 132 次训练运行，总计记录 12,124.4 个 H800 GPU 小时，并对预训练骨干网络和全部十一种训练方法在八个 rollout 种子上进行了重复评估。除最终任务性能外，我们还考察了训练进展、稳定性和实测计算成本。我们的评估得出三个关键发现。第一，相对于 GRPO 的增益范围仍然有限，没有任何方法能在各种设置下持续优于它。第二，出色的最终性能可能掩盖不稳定的训练过程。第三，额外的训练成本并不总能转化为更好的性能。我们建立这一基准，以支持公平、全面的比较，并引导未来研究走向可靠且高性价比的智能体训练改进。项目页面：this https URL
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19789 [cs.CL] |
| （或 arXiv:2610.19789v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19789 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Linhao Zhong [查看邮箱]
[v1]
2026年10月14日星期三 08:36:31 UTC（306 KB）
来源：arXiv cs.CL · arxiv.org