arXiv cs.AI· Haowei Guo, Baolong Bi, Ruicheng Zhang, Cong Li, Bingqian Sun, Zhonghai Wu·· 6 天前AI 评分24
教师模型何时该更新？自同策略蒸馏中的时间耦合与稳定性
When Should the Teacher Move? Temporal Coupling and Stability in Self On-Policy Distillation
AI 导读
研究者在 Qwen3-8B 上通过受控调度扫描发现，教师模型更新之间的完全冻结期（隔离期）才是稳定学习的关键，而非教师年龄。团队提出时间 KL 结构、刷新冲击与长度尾部风险诊断框架，揭示短视评估下不可见的“状态无视崩溃”，并提出 CGTR 方法，将刷新门控于奖励提升与长度尾部安全的联合证据上。
正文 · AI 翻译
摘要：自策略蒸馏（Self on-policy distillation）让一个学生策略针对从其自身参数历史中导出的教师进行训练，然而教师的更新调度——它决定了教师与学生之间的\emph{时间耦合}——尚未作为稳定性变量被系统研究。通过在 Qwen3-8B 上进行受控的调度扫描，我们确立了\emph{隔离期}（即更新之间教师完全冻结）是使学习稳定的关键结构性质，而非教师年龄。为了刻画这些底层训练动态，我们引入了时间 KL 结构、刷新冲击和长度尾部风险的诊断框架。该框架进一步揭示了\emph{状态无感崩溃}：最优的短时程固定调度在长时程训练下会灾难性失败，因为时钟驱动的刷新可能将暂时漂移的学生在单个不可逆步骤中复制到教师中。这种失败模式在短时程评估下不可见，且在机制上不同于 EMA 的慢性污染。为解决此问题，我们提出了\emph{巩固门控教师刷新}（CGTR），它在保留隔离期的同时，将每次刷新门控于奖励提升和长度尾部安全的联合证据上，确保教师的每次移动都响应于真正的学生巩固，而非时钟信号。凭借单一共享参数集且无需按数据集重新调参，CGTR 在全部四项任务（化学、生物、物理、工具使用）上实现了\textbf{零崩溃}和最佳最终得分，并根据每个任务的学习动态自我调节其刷新频率。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.03532 [cs.LG] |
| （或 arXiv:2606.03532v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.03532 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Haowei Guo [查看电子邮件]
[v1]
2026年6月2日星期二 11:54:39 UTC（1,233 KB）
[v2]
2026年10月9日星期五 13:22:21 UTC（1,103 KB）
来源：arXiv cs.AI · arxiv.org