arXiv cs.AI· Ruolin Chen, Yang Li, Jihang Wang, Zhuoya Zhao, Yuchen Liu, Jiaming Xu, Qian Zhang·· 3 天前AI 评分24
PTGPO：前缀树组策略优化
PTGPO: Prefix Tree Group Policy Optimization
AI 导读
针对长时程交互任务中稀疏终端奖励难以提供中间动作信用信号的问题，研究者提出 PTGPO（Prefix Tree Group Policy Optimization），一种无需 critic 的方法，在锚点状态组内对轨迹后缀构建前缀树，以子节点与父节点经验平均回报之差作为每条树边的信用。
正文 · AI 翻译
摘要：在长时程交互任务上训练语言智能体颇具挑战，因为稀疏的终端奖励为中间动作提供的信用信号很弱。现有的基于分组的方法要么分配一个共享的轨迹级优势，要么从状态组中估计步级优势，这可能会将当前动作与后续决策混为一谈。我们提出前缀树组策略优化（PTGPO），一种无评论家的方法，在锚点状态组内基于轨迹后缀构建前缀树。PTGPO 为每条树边赋予一个信用值，该值由其子节点与父节点的经验平均回报之差给出，从而捕捉每增加一个动作所揭示的条件回报变化。这些前缀树信用提供了细粒度的学习信号，且无需评论家或额外采样。在交互式基准 ALFWorld、WebShop 和 Sokoban 上的实验表明，PTGPO 持续优于 RL 基线，证明了其有效性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14737 [cs.LG] |
| （或 arXiv:2610.14737v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14737 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jihang Wang [查看邮箱]
[v1]
2026年10月10日星期六 08:57:33 UTC（2,155 KB）
来源：arXiv cs.AI · arxiv.org