跳到正文
arXiv cs.CL· Zhi Xu, Yinqi Wu, Feng Zhang, Xiaotong Zhang, Hong Yu, Han Liu·· 9 小时前AI 评分31

B-OPSD:用自生成问题简报实现同策略自蒸馏

B-OPSD: On-Policy Self-Distillation with Self-Generated Problem Briefs

AI 导读

B-OPSD 提出用模型自身生成的问题简报替代真实答案作为教师模型的特权上下文,训练全程无需 ground-truth 解答。该方法在 AIME 2024、AIME 2025 和 HMMT 2025 上,三个 Qwen3 模型尺寸的平均准确率均高于 OPSD。代码已开源。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:On-Policy Self-Distillation(OPSD)近期引起了关注,因为它无需单独的、通常更大的教师模型即可提供密集的教师指导。然而,OPSD 以真实答案为条件来约束其教师,这限制了在无法获得此类答案时的使用。我们提出了基于自生成问题简报的 On-Policy Self-Distillation(B-OPSD)。使用提示模板,初始模型或已保存的学生检查点仅根据问题生成问题简报。该提示要求给出相关原理、适用条件以及可能的陷阱,但不要求最终答案或完整解答。一个冻结的教师将简报作为特权上下文,通过 token 级分布匹配来指导当前学生的 on-policy 推演。B-OPSD 在训练期间不使用真实答案。在 AIME 2024、AIME 2025 和 HMMT 2025 上的结果表明,在三种 Qwen3 模型规模下,两种 B-OPSD 变体的平均准确率均高于 OPSD。代码可在 此 https URL 获取
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.19273 [cs.CL]
  (或 arXiv:2611.19273v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.19273

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Zhi Xu [查看电子邮件]
[v1] 2026年11月14日星期六 09:05:36 UTC(1,356 KB)
[v2] 2026年11月17日星期二 07:55:25 UTC(1,356 KB)

来源:arXiv cs.CL · arxiv.org