arXiv cs.CL· Shu Zhao, Tan Yu·· 11 小时前AI 评分31
R2S：用无奖励教师修复解决智能体在线策略蒸馏的评分短视问题
Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation
AI 导读
研究提出 Rollout-to-Scorer Distillation（R2S），在蒸馏前先修复教师评分器：从未训练学生挖掘高分歧状态，执行教师接管并用共识或 LLM judge 等无奖励检查筛选，再微调教师使其给出接管信息引导的 token 评分。
正文 · AI 翻译
摘要：智能体在线策略蒸馏（OPD）让学生智能体在自己的轨迹上训练，同时由教师对每个 token 打分。一种自然的解释是误差累积：学生的错误会将其轨迹带离教师可靠的区域，因此近期方法通过回合长度课程、教师引导的轮次、前缀回放，或在两者不一致处进行教师干预，将训练保持在该区域内。我们表明这一解释并不完整。从学生与教师偏离最大的状态出发，教师自己的接管仍能完成任务，然而用其 token 分数训练的学生却仍然耗尽轮次。我们将此归因于下一 token 打分的短视性。教师在不了解回合在何处结束的情况下对每个 token 评分，因此其分数放过了基于结果的强化学习会以零奖励惩罚的安全、拖延性动作，而智能体 OPD 缺少这一惩罚。我们将教师所做与所评分之间的这种差异称为 rollout-scorer gap。我们提出 Rollout-to-Scorer Distillation（R2S），它在蒸馏前修复评分器：从未训练的学生中挖掘高分歧状态，从这些状态运行教师接管，保留足够多接管通过无奖励检查（如共识或 LLM 评判）的状态，并微调教师，使其从分歧轮次起对每个助手 token 给出基于接管的分数，且上下文中不含接管内容。修复后的教师被冻结为标准 OPD 的唯一评分器，在修复或训练期间均无需任务奖励。在三个环境、两位教师和四名学生上，R2S 在所有十二个教师-学生-环境组合中均优于三种最先进的智能体 OPD 方法，在每个组合中平均比其中最佳者高出 12.8 个成功点。项目页面：此 https URL。
| 评论： | 17 页，5 幅图，13 张表。项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28586 [cs.CL] |
| （或 arXiv:2610.28586v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28586 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shu Zhao [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 17:40:08 UTC（221 KB）
来源：arXiv cs.CL · arxiv.org