arXiv cs.AI· Zhengpeng Xie, Li Lyna Zhang, Zeke Xie, Mao Yang·· 12 小时前AI 评分31
TOP-D：将在线策略蒸馏转化为稳定训练范式的信任区域策略蒸馏
Trust Region Policy Distillation
AI 导读
研究者提出 Trust Region Policy Distillation（TOP-D），通过动态构建近端教师模型，将高方差的 On-Policy Distillation（OPD）转化为稳定训练范式。理论分析表明 TOP-D 可控制梯度方差，并给出全局收敛分析与单调改进界；在数学推理任务上，其训练稳定性、样本效率和最终性能均显著提升，且不引入额外计算开销。
正文 · AI 翻译
摘要：宏大的目标难以一蹴而就，将其拆解为小步骤更为明智。我们提出信赖域策略蒸馏（TOP-D），它通过动态构建近端教师，将众所周知不稳定、高方差的同策略蒸馏（OPD）转化为稳定的训练范式。在理论上，我们建立了一个严谨的框架，证明 TOP-D 本质上能够控制梯度方差。通过提供正式的全局收敛分析以及单调改进界，我们从数学上形式化了整体训练动态的可靠性与稳定性。在实证上，TOP-D 显著提升了数学推理任务中的训练稳定性、样本效率和最终性能。更重要的是，TOP-D 不引入任何额外的计算开销，使其有望成为成熟 OPD 范式的替代方案。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.04751 [cs.LG] |
| （或 arXiv:2607.04751v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.04751 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhengpeng Xie [查看邮箱]
[v1]
2026年7月6日星期一 07:43:36 UTC（129 KB）
[v2]
2026年10月26日星期一 23:22:57 UTC（141 KB）
来源：arXiv cs.AI · arxiv.org