arXiv cs.AI· Gengsheng Li, Mao Zheng, Mingyang Song, Jie Sun, Zeyuan Liu, Ruiqi Liu, Tianyu Yang, Qiyong Zhong, Haiyun Guo, Junfeng Fang, Shiming Xiang, Jinqiao Wang, Tat-Seng Chua·· 9 天前AI 评分24
无数据在线策略蒸馏（DF-OPD）：不依赖外部数据能走多远？
Data-Free On-Policy Distillation: How Far Can We Go Without External Data?
AI 导读
研究发现，在线策略蒸馏（OPD）对训练数据的依赖远低于预期：仅用 8 条真实提示词训练，效果即可媲美 17k 道题。作者据此提出无数据在线策略蒸馏（DF-OPD），用 64 个无种子示例自生成问题即可达到全量数据 OPD 的水平；在多教师场景下，1k 个生成问题可媲美约 7k 条真实后训练样本。
正文 · AI 翻译
作者：Gengsheng Li、Mao Zheng、Mingyang Song、Jie Sun、Zeyuan Liu、Ruiqi Liu、Tianyu Yang、Qiyong Zhong、Haiyun Guo、Junfeng Fang、Shiming Xiang、Jinqiao Wang、Tat-Seng Chua
摘要：在线策略蒸馏（OPD）正越来越多地应用于前沿基础模型的后期训练。该领域此前的工作主要聚焦于算法层面的进展，但 OPD 在多大程度上依赖其训练问题，尤其是这种依赖能被降低到何种程度，仍不明确。在两个具有代表性的单教师 OPD 设置中，我们发现，用 8 个真实提示进行训练所达到的性能与用 17k 道题训练相当，而所测难度和初始蒸馏差距差异很大的数据集也产生相似的结果。我们的分析提出了两种互补的解释：重复采样可能使即使很少的提示也能暴露出大量的教师监督信号，而 OPD 迁移的是可泛化的推理能力，而非数据集特定的知识。基于这些观察，我们接下来提出无数据在线策略蒸馏（DF-OPD）设置，以探究系统能否自行提供训练问题，从而无需外部数据。在无需种子示例的情况下获得 64 个自生成问题，DF-OPD 在两种单教师设置中均达到与全数据 OPD 相当的性能。这一发现同样适用于多教师 OPD：在数学、代码和指令遵循方面，1k 个生成问题所达到的性能与在约 7k 个真实后期训练示例上训练相当。我们进一步探究 OPD 能否在甚至没有显式训练问题的情况下运行。实验表明，这仅在有限情况下有效，此时学生会意外地生成并回答自己的问题，从而将该过程简化为一种隐式的 DF-OPD 形式。总之，这些发现促使我们重新评估训练数据在在线策略蒸馏中的作用。代码见 this https URL
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.14193 [cs.LG] |
| （或 arXiv:2609.14193v4 [cs.LG] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2609.14193 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gengsheng Li [查看邮箱]
[v1]
2026年9月12日星期六 23:51:35 UTC（320 KB）
[v2]
2026年9月17日星期四 20:45:40 UTC（453 KB）
[v3]
2026年10月1日星期四 20:06:23 UTC（1,155 KB）
[v4]
2026年10月7日星期三 17:57:03 UTC（1,160 KB）
来源：arXiv cs.AI · arxiv.org