arXiv cs.AI· Yingdong Shi, Zhihong Li, Changming Li, Jingyi Yu, Quan Li, Kan Ren·· 3 天前AI 评分26
OPMD：超越输出监督的在线策略机制蒸馏
OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
AI 导读
研究者提出在线策略机制蒸馏（OPMD），通过先构建与学生兼容的教师模型，将教师中间表示转化为学生下游计算可用的状态，再在在线策略轨迹中内化这些状态，从而在输出监督之外实现机制级监督。在三种教师-学生设定中，OPMD 的平均准确率均高于所评估的蒸馏基线，并可泛化到多教师蒸馏和跨家族监督微调。分析显示，机制监督能带来更有效的推理，并显著改变学生的中间计算与解题策略。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）通过在学生自身策略采样的前缀上对其进行监督来改进语言模型，但其监督仍局限于输出空间。因此，OPD 迁移的是教师的预测结果，而未监督产生这些预测的中间计算过程。仅蒸馏中间表示（如表示匹配）是不够的，因为教师与学生的表示在几何上可能存在差异，而且即使隐藏状态对齐良好，也未必能被学生后续计算所使用。我们提出在线策略机制蒸馏（OPMD），它在迁移教师衍生的中间计算的同时，显式考虑其与学生的兼容性。OPMD 首先构建一个与学生兼容的教师，将教师表示转换为学生下游计算可用的中间状态，然后从在线策略轨迹中内化这些状态。在所有三种教师—学生设置中，OPMD 在所评估的蒸馏基线中取得了最高平均准确率，并可泛化到多教师蒸馏和跨家族监督微调。进一步分析表明，机制监督能带来更有效的推理，并显著改变学生的中间计算和解题策略，这支持了它迁移的信息超越了单纯的输出监督。总之，这些结果确立了机制级监督是一种有效方式，可将在线策略蒸馏推进到输出监督之外，使学生能够学习他们可以使用并内化的内部机制。
| 评论： | 21 页，6 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14022 [cs.LG] |
| （或使用 arXiv:2610.14022v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14022 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yingdong Shi [查看邮箱]
[v1]
2026年9月29日星期二 14:07:18 UTC（615 KB）
来源：arXiv cs.AI · arxiv.org