arXiv cs.AI· Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang, Yifan Dai, Yang Shi, Bozhou Li, Chengzhuo Tong, Daili Hua, Yuanxing Zhang, Wentao Zhang·· 3 天前AI 评分23
Flux-OPD：用演化上下文做在策略蒸馏
Flux-OPD: On-Policy Distillation with Evolving Contexts
AI 导读
Flux-OPD 是一种用演化上下文作为训练中监督的 OPD 范式，通过 reverse-KL 分解刻画上下文蒸馏，将上下文条件教师与无上下文教师的差异作为上下文修正注入无上下文教师，并用冲突项加权修正强度。实验显示 Flux-OPD 在 OPD 范式中取得最佳结果，表明教师监督与演化上下文结合具有潜力。
正文 · AI 翻译
作者：Yuran Wang、Zekun Wang、Bohan Zeng、Ruixu Zhang、Wenxuan Liu、Liu Yang、Yifan Dai、Yang Shi、Bozhou Li、Chengzhuo Tong、Daili Hua、Yuanxing Zhang、Wentao Zhang
摘要：在开放式领域中的大语言模型训练缺乏可验证的奖励，使得任务偏好难以形式化为有效的监督信号。由任务反馈衍生的上下文能够提供更丰富的监督，但固定的上下文无法随着学生模型的演进自适应调整，这促使人们采用随学生表现演进的上下文。然而，直接将演进中的上下文用作训练中的监督会导致蒸馏目标不稳定以及分布冲突，因此需要机制来稳定目标并对冲突进行降权。本文通过反向 KL 分解刻画了上下文蒸馏，表明学生模型被蒸馏至上下文条件教师的几何均值，同时目标中包含一个衡量这些教师之间分歧的冲突项。受此刻画启发，我们提出 Flux-OPD，一种以演进中的上下文作为训练中监督的 OPD 范式，用以融入由任务反馈衍生的上下文信号。Flux-OPD 将上下文条件教师与无上下文教师之间的差异视为上下文差异信号，将其作为上下文修正注入无上下文教师，并利用冲突项对修正强度进行加权。实验表明，Flux-OPD 在 OPD 范式中取得了最佳结果，凸显了将教师监督与演进中的上下文作为训练中监督相结合所蕴含的潜力。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.28022 [cs.LG] |
| （或使用 arXiv:2607.28022v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.28022 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Yuran Wang [查看邮箱]
[v1]
2026年7月30日星期四 11:11:32 UTC（2,758 KB）
[v2]
2026年10月12日星期一 06:47:25 UTC（2,769 KB）
来源：arXiv cs.AI · arxiv.org