arXiv cs.AI· Xiuhui Zhang, Ning Gao, Xingyu Jiang, Yihui Chen, Yuheng Pan, Mohan Zhang, Yue Deng·· 2 天前AI 评分24
PRM4RL：用大语言模型为强化学习构建进度奖励模型
Progress Reward Model for Reinforcement Learning via Large Language Models
AI 导读
研究者提出 PRM4RL 框架，将复杂任务分解为可管理的子任务，并设计子任务导向的细粒度进度函数来监控执行进度，再基于势能奖励塑形构造进度奖励模型（PRM），提供最优性与收敛性理论保证。在机器人控制任务上，该方法优于基于 LLM 的规划与奖励方法，达到 SOTA，论文已被 NeurIPS 2025 收录，代码已开源。
正文 · AI 翻译
摘要：传统强化学习（RL）算法在处理具有稀疏奖励的长期任务时面临显著局限。近期进展利用大语言模型（LLM）的世界知识进行任务规划和奖励生成，从而增强 RL。然而，基于规划的方法通常依赖预定义的技能库，且无法优化底层控制策略；而基于奖励的方法由于任务复杂，需要大量人工反馈或穷举搜索。本文提出面向 RL 的进度奖励模型（PRM4RL），一种融合任务规划与稠密奖励以增强 RL 的新框架。在高层次规划方面，将复杂任务分解为一系列简单可管理的子任务，并设计面向子任务的细粒度进度函数以监控任务执行进度。在低层次奖励生成方面，受基于势能的奖励塑形启发，我们使用进度函数构建进度奖励模型（PRM），提供具有理论依据的最优性与收敛性保证，从而实现有效的策略优化。在机器人控制任务上的实验结果表明，我们的方法优于基于 LLM 的规划方法和奖励方法，达到最先进性能。代码见 this https URL。
| 评论： | 20 页，10 张图。发表于 NeurIPS 2025 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22056 [cs.AI] |
| （或 arXiv:2610.22056v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22056 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Advances in Neural Information Processing Systems 38, 100745-100772 (2025) |
| 相关 DOI： | https://doi.org/10.52202/085713-3370
链接到相关资源的 DOI |
提交历史
来自：Xiuhui Zhang [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 15:21:25 UTC（13,631 KB）
来源：arXiv cs.AI · arxiv.org