arXiv cs.CL· Ziang Ye, Wentao Shi, Lei Chen, Zhengzhou Cai, Yu Wang, Zhiyuan Yao, Zihan Wang, Xierui Song, Fuli Feng, Yixin Cao·· 6 天前AI 评分31
ReTRAIL：让长程 LLM 智能体回退环境、复用探索经验
Travel Back To Move Forward: Retrospective Exploration and Evolving for Long Horizon Agents
AI 导读
研究者提出 ReTRAIL 框架，让 LLM 智能体在长程任务中把环境回退到早期状态，同时保留有效进展并复用被放弃分支中学到的知识。
正文 · AI 翻译
摘要：大型语言模型智能体越来越多地在长时程环境中运行，早期的错误可能引发级联失败，并使智能体陷入死胡同轨迹。因此，智能体必须能够主动从这类状态中恢复，并将探索经验转化为后续决策的指导。我们提出 ReTRAIL，一个使智能体能够将环境回退到较早状态、同时保留有效进展并延续从被放弃探索中学到的知识的框架。环境状态向后移动，而智能体的知识继续向前推进。ReTRAIL 使用两种互补信号训练共享策略：State-Anchored GRPO 比较从重访状态出发的替代延续以改进执行，而分支推进奖励则通过后续探索的进展来引导反思。在四个交互式基准 MineSweeper、Sokoban、ALFWorld 和 ScienceWorld 上的实验表明，仅添加回退原语带来的收益有限，甚至可能降低性能。相比之下，ReTRAIL 使智能体能够从无成效状态中回退，并利用被放弃分支中的洞见来指导后续探索。这些结果证明了在长时程任务求解中，将环境回退与进行中任务内的经验复用相结合的价值。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13058 [cs.AI] |
| （或 arXiv:2610.13058v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13058 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziang Ye [查看电子邮件]
[v1]
2026年10月9日星期五 06:11:39 UTC（1,156 KB）
来源：arXiv cs.CL · arxiv.org