arXiv cs.AI· Dongyang Chen, Shudong Liu, Shubo Li, Duoxun Tang, Jinwei Liang, Zehuan Wu, Lewei Lu·· 6 天前AI 评分22
BranchOPD：分支式在线策略蒸馏
Branching On-Policy Distillation
AI 导读
BranchOPD 通过学生模型不确定性和师生分歧选择决策点，从共享前缀重采样学生策略续写，并对主轨迹与分支同时施加 token 级教师监督。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）在由学生模型生成的轨迹上提供教师监督，但单条轨迹在每个决策点只实现一种延续，在有限采样预算下限制了监督覆盖范围。我们提出 BranchOPD（分支在线策略蒸馏），它利用学生不确定性和师生分歧来选择信息量大的决策点，从共享前缀重新采样学生策略的延续，并对主轨迹和分支都施加 token 级教师监督。BranchOPD 在数学任务中作用于 token 级决策，在智能体任务中作用于回合内决策。相对于七条独立轨迹，共享前缀复用将学生生成的 token 成本在 ALFWorld 上降低约 19%，在 WebShop 上降低约 31%。我们还引入了协议边界修复（PBR），它在协议约束下使用有针对性的监督来缓解重复和无效生成。BranchOPD 在所有评估基准上均优于 Vanilla OPD 和 Multi-Rollout OPD（n=7），在 16 个采样答案的平均数学准确率（avg@16）上比 Vanilla OPD 提升 18.55 个百分点，在 ALFWorld ID/OOD 平均成功率上提升 13.8 个百分点。机制分析和选择消融实验表明，在不确定决策处分支能够扩展后续行为覆盖范围，并优于随机选择和回合起始分支。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13481 [cs.AI] |
| （或 arXiv:2610.13481v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13481 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dongyang Chen [查看邮箱]
[v1]
2026年10月9日星期五 12:13:34 UTC（1,304 KB）
来源：arXiv cs.AI · arxiv.org