TreeOPSD：面向长程智能体强化学习的树感知后验蒸馏新方法

(1/5) 新预印本：TreeOPSD，面向长程 LLM 智能体的无 critic 强化学习 🌳 长程智能体在经历多轮交互后只收到一个结果奖励，而每个 rollout 批次会驱动若干次顺序的小批量更新，此时策略已偏离采样它时的策略。 TreeOPSD 将终端奖励沿 rollout 树回传，并把每次更新拆成两步：为每一轮构造目标，再用前向 KL 让当前策略匹配该目标。 由此带来： • 闭式且有界的轮次目标，与树回传可交换，因此共享前缀只训练一次且不损失信用分配 • 在第一个小批量上即为精确的树策略梯度，更新在到达目标时停止、过冲后反向 • 相比 GRPO、GSPO 和匹配的树基线均有一致提升，在最长程任务上提升最大 在 Deep Research 上，TreeOPSD 将 Qwen3-30B-A3B-Thinking-2507 的平均准确率从 16.23（GRPO）提升至 21.20。 标题：面向长程智能体强化学习的树感知后验蒸馏 论文：https://arxiv.org/pdf/2610.23181 与 @TencentHunyuan 合作 #LLM #RLVR #AIAgents