arXiv cs.AI· Bowen Ding, Mingda Wan, Yuhan Chen, Jiyao Yuan, Qi Zhu, Futing Wang, Heyuan Deng, Fei Mi, Lifeng Shang, Tao Lin·· 3 天前AI 评分27
ProAS：面向多轮智能体强化学习的进度感知优势塑形框架
ProAS: A Progress-Aware Advantage Shaping Framework for Multi-Turn Agentic Reinforcement Learning
AI 导读
针对 GRPO 等无 critic 算法将轨迹级优势均匀分配给所有动作的问题，研究者提出即插即用框架 ProAS，通过动态演进的 Agentic Reference Graph（ARG）实现细粒度信用分配。
正文 · AI 翻译
摘要：强化学习（RL）已成为优化大型语言模型（LLM）智能体的主要范式，但高效的无评论家算法（如 GRPO）存在一个根本性的均匀信用分配困境，即把轨迹级优势均等地广播给所有动作。我们的分析表明，这种均匀性会固有地强化偏好轨迹中结构上无效的动作，并忽略非偏好轨迹中早期关键偏差的下游级联影响。为了在不引入评论家开销的情况下解决这一问题，我们提出了进度感知优势塑造（ProAS），这是一个即插即用的框架，利用动态演化的智能体参考图（ARG），通过掩蔽不合理激励（MUI）和非对称惩罚重分配（APR）实现细粒度信用分配。在 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 上的大量实验表明，ProAS 普遍将主流的基于组的基线提升到新的最先进性能，分别在 ALFWorld 上达到 91.9\% 和 94.3\% 的峰值成功率，在 WebShop 上分别达到 66.7\% 和 70.8\%。此外，它将训练收敛速度提升至多 $2.44\times$，同时对不完美或蒸馏的 ARG 保持强鲁棒性。代码：this https URL。
| 评论： | 23 页，2 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18683 [cs.LG] |
| （或 arXiv:2610.18683v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18683 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bowen Ding [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 16:39:38 UTC（8,028 KB）
来源：arXiv cs.AI · arxiv.org