arXiv cs.AI· Yi Wen, Hao Chen, Wanyu Wang, Maolin Wang, Pengyue Jia, Derong Xu, Huize Tan, Yingyi Zhang, Wenlin Zhang, Weihong Luo, Xiku Du, Xiangyu Zhao·· 11 小时前AI 评分32
TrajEvolve：带事后信用分配的轨迹进化强化学习
TrajEvolve: Trajectory Evolution for Reinforcement Learning with Hindsight Credit Assignment
AI 导读
TrajEvolve 提出一种轨迹进化范式，通过精炼历史轨迹中的低质量步骤生成“进化轨迹”，让策略接触到基础模型能力范围内但训练预算内难以采样的高质量组合。该方法将步骤级连续信用分配重构为二分类任务，借助反事实验证识别冗余步骤。两个数据集上的实验验证了其有效性，论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
作者：Yi Wen、Hao Chen、Wanyu Wang、Maolin Wang、Pengyue Jia、Derong Xu、Huize Tan、Yingyi Zhang、Wenlin Zhang、Weihong Luo、Xiku Du、Xiangyu Zhao
摘要：强化学习（RL）范式在增强大语言模型（LLM）的推理能力方面取得了显著成功。然而，当应用于长时程任务时，它面临严峻挑战：i）由于任务复杂度高，模型难以采样到足够多的成功轨迹，导致收敛缓慢。ii）仅依赖稀疏的最终奖励会导致所有步骤被不加区分地更新，从而鼓励生成冗余步骤。当成功轨迹的数量和质量都难以保证时，性能会受到严重制约。这一困境源于以下局限：现有的 RL 范式完全依赖基座模型的推理能力，缺乏主动优化轨迹的能力。为解决上述问题，我们提出了一种新颖的轨迹演化范式，并带有事后信用分配，称为 TrajEvolve。TrajEvolve 不仅依赖模型推断出的轨迹，还通过精炼历史轨迹中的低质量步骤来生成“演化轨迹”，从而使策略能够接触到位于基座模型支持范围内、但在实际训练预算下很少被采样到的高质量组合。此外，TrajEvolve 将步骤级连续信用分配重新表述为二分类任务，即判断每个步骤对任务完成是否必要。这种简化不仅降低了学习难度，还使得步骤标签能够通过反事实验证获得，从而实现对冗余步骤的精确识别。在两个数据集上的大量实验证明了所提方法的优越性。
| 评论： | NeurIPS 2026 接收论文 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28060 [cs.AI] |
| （或 arXiv:2610.28060v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28060 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yi Wen [查看邮箱]
[v1]
2026年10月20日星期二 11:48:01 UTC（711 KB）
来源：arXiv cs.AI · arxiv.org