arXiv cs.AI· Yibin Huang, Conghui Zhu·· 11 小时前AI 评分22
Distill Until Divergence：面向智能体强化学习的错误截断事后蒸馏方法
Distill Until Divergence: Error-Truncated Hindsight Distillation for Agentic RL
AI 导读
针对基于结果的 GRPO 缺乏中间决策细粒度指导、技能条件监督在错误动作后与当前状态失配的问题，研究者提出 Distill Until Divergence 方法，按轨迹结果与错误边界路由正向与负向两类事后技能：正向技能强化成功轨迹及出错前决策，负向技能针对决定性错误提供纠正，错误后的后缀仅由 GRPO 优化。实验显示该方法取得有竞争力的任务表现，并支持有效的细粒度信用分配。
正文 · AI 翻译
摘要：长程交互要求智能体在变化的环境中做出多个决策。基于结果的 GRPO 缺乏对中间决策的细粒度指导。近期方法将完整轨迹蒸馏为可复用技能，并使用事后条件 OPD 提供密集的 token 级信用。然而，技能引起的概率偏移不一定代表与奖励对齐的信用；尤其是在错误动作改变后续交互状态后，技能条件监督可能与当前状态不匹配。为解决这一不匹配问题，我们提出 \methodname{}，它根据轨迹结果和错误边界路由两种互补的事后技能：正向技能捕获成功工作流，以强化成功轨迹和错误前决策；负向技能捕获特定于失败的纠正，以针对决定性错误。错误后的后缀仅由 GRPO 优化，保留基于结果的学习，而不扩展可能不匹配的事后监督。大量实验证明了有竞争力的任务性能，并支持有效的细粒度信用分配。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23048 [cs.AI] |
| （或 arXiv:2610.23048v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23048 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Yibin Huang [查看邮箱]
[v1]
2026年10月16日星期五 07:28:05 UTC（549 KB）
来源：arXiv cs.AI · arxiv.org