arXiv cs.CL· Rumei Li, Xunliang Cai·· 12 小时前AI 评分34
ReflectPO：面向长程 LLM 智能体的反思引导策略优化
ReflectPO: Reflection-Guided Policy Optimization for Long-Horizon LLM Agents
AI 导读
研究者提出强化学习框架 ReflectPO，用于长程 LLM 智能体的自主错误恢复，包含反思引导采样与树状信用分配两个核心组件。该方法利用交互轨迹中的分支差异和重复访问构建纠错提示，并按父子奖励差与恢复增益分配动作级信用。在两个长程工具使用基准上，ReflectPO 在多数领域优于多个现有基线，平均整体表现最佳。
正文 · AI 翻译
摘要：借助外部工具，大型语言模型（LLM）能够通过持续的环境交互来解决复杂任务。因此，基于 LLM 的智能体越来越多地被用于在真实环境中处理复杂的长时程任务。然而，这些任务涉及顺序性、相互依赖的决策以及环境状态的变化。早期的执行错误会影响后续的交互历史和环境状态，其影响会沿着决策链累积。为应对这一挑战，我们提出了 Reflection-Guided Policy Optimization（ReflectPO），这是一个用于长时程任务中自主错误恢复的强化学习框架。ReflectPO 包含两个核心组件。第一个是 Reflection-Guided Sampling。我们利用交互轨迹中的分支差异和重复访问来构建错误恢复的提示。第二个是 Tree-Structured Credit Assignment。我们将采样的轨迹组织成树，并利用父子奖励差异和恢复增益来分配动作级信用。在两个长时程工具使用基准上的实验表明，ReflectPO 在大多数领域优于多个现有基线，并在平均性能上取得最佳整体表现。进一步分析表明，ReflectPO 有效提升了智能体识别自身偏差、从错误状态中恢复并继续朝着任务完成推进的能力。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30933 [cs.CL] |
| （或 arXiv:2610.30933v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30933 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rumei Li [查看邮箱]
[v1]
2026年10月22日星期四 08:54:24 UTC（679 KB）
来源：arXiv cs.CL · arxiv.org