arXiv cs.AI· Shumao Wu, Kongcheng Zhang, Jianqiang Huang, Baisheng Lai·· 10 小时前AI 评分31
ORSD：用动态过程评分标准实现特权 token 级信用分配
Using Experience Twice: Dynamic Process Rubrics for Privileged Token-Level Credit Assignment
AI 导读
研究者提出 Online Rubric Self-Distillation（ORSD），将自生成的自然语言过程评分标准作为特权信息，通过对比有无评分标准时原始 token 的似然差，为每个 token 分配过程信用，并以加性优势整形方式叠加到 GRPO 的轨迹级优势上。
正文 · AI 翻译
摘要：智能体轨迹通常既包含成功的决策，也包含失败的尝试，然而使用稀疏的轨迹级奖励进行优化时，难以识别哪些关键决策应当被强化或抑制。我们观察到，同策略轨迹之间有意义的差异可以被提炼为自然语言过程评分标准，并用作过程监督信号。基于这一洞见，我们提出了在线评分标准自蒸馏（ORSD），它利用自生成的过程评分标准进行密集的 token 级监督，从而增强以结果为中心的强化学习。具体而言，当前策略在每一步根据同一组轨迹独立生成多个评分标准包，从跨轨迹的行为差异中提取候选过程评分标准。随后，一个冻结的验证器针对该组中的每条轨迹评估所有评分标准条目，并基于评分标准满足情况与任务成功之间的包级对齐程度，选择一个候选包。ORSD 在训练期间将选定的评分标准包视为特权信息，然后比较原始 token 在有、无评分标准情况下的对数似然。由此得到的似然差距提供了针对具体 token 的过程信用，并通过加性优势塑形将其加到原始的轨迹级 GRPO 优势上。因此，ORSD 弥合了轨迹级结果监督与细粒度过程监督之间的鸿沟，使得利用过程信号进行 token 级信用分配成为可能。在 ALFWorld 和 WebShop 上的大量实验表明，在相同的环境交互预算下，ORSD 对 Qwen3-1.7B 和 Qwen3-4B 均能加速策略改进并提升最终任务性能。我们的代码可在 此 https URL 获取。
| 评论： | 18 页，3 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06543 [cs.AI] |
| （或 arXiv:2611.06543v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06543 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shumao Wu [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 14:11:53 UTC（2,848 KB）
来源：arXiv cs.AI · arxiv.org