arXiv cs.AI· Jie Yang, Mianqiu Huang, Yiwei Zhao, Bo Wang, Yang Liu, Yuxin Wang·· 3 天前AI 评分29
PEARL：面向多轮智能体的过程经验感知强化学习
PEARL: Process-Experience Aware Reinforcement Learning for Multi-Turn Agents
AI 导读
PEARL 是一种无需额外 critic 的过程经验感知强化学习（Process-Experience Aware Reinforcement Learning）方法，通过定位同一历史下两条不同结果轨迹的首个分歧点，构建各分支局部决策的特征表示，并在近期失败与成功记忆中聚类以识别反复出现的局部决策模式。
正文 · AI 翻译
摘要：终端奖励使多轮智能体无需步骤级标注即可训练，但组相对优势对哪些中间决策需要调整提供的指导很少。失败的轨迹中也包含合理的动作，而不利的决策模式可能随着训练推进反复出现。我们提出 PEARL（Process-Experience Aware Reinforcement Learning，过程经验感知强化学习），它在不增加额外评论家的情况下改进局部信用分配。给定来自同一历史的两条具有不同结果的延续，PEARL 定位它们的首次分歧，并为每个分支的局部决策构建特征表示。它在近期的失败和成功记忆中聚类这些决策特征，以识别反复出现的局部模式。利用该模式记忆，PEARL 在较低奖励的决策处选择性地增强负优势，同时保持正优势和基础策略优化器不变。在 AppWorld 上，PEARL 在 4B 和 8B 规模下均在 Normal 和 Challenge 任务上优于 ARPO。在 ALFWorld 上，它在 4B 下达到 97.9% 的平均成功率，比最强基线高 2.7 个百分点，同时在 8B 下仍具竞争力。对塑形位置、成功库过滤和记忆窗口的消融实验支持了选择性、基于反复出现模式的更新的价值。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.14636 [cs.AI] |
| （或 arXiv:2610.14636v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jie Yang [查看邮箱]
[v1]
2026年10月10日星期六 06:35:58 UTC（272 KB）
来源：arXiv cs.AI · arxiv.org