arXiv cs.AI· Yuhang Yang, Mingxuan Xia, Chao Ye, Shuai Zhu, Shouqing Yang, Haobo Wang, Shenzhi Yang, Zhengqing Zang, Chenglong Wang·· 3 天前AI 评分22
PreSO：面向在线策略自蒸馏的特权表示隔离方法
PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
AI 导读
PreSO 通过紧凑提示限制特权信息中的题目细节，并从跨问题表示偏移中估计低秩子空间，将特权修正投影后叠加到学生表示上作为蒸馏目标。在五个竞赛级数学基准上，PreSO 在 Qwen3-1.7B、4B、8B 上平均准确率较基座模型分别提升 6.8、9.0、10.0 分，且各规模最终 checkpoint 平均成绩均为最高。
正文 · AI 翻译
摘要：在线策略自蒸馏（OPSD）使用一个以特权信息为条件的自教师模型，将可验证奖励强化学习（RLVR）的稀疏结果信号转化为密集的词元级监督。然而，教师的优势可能依赖于学生在推理时无法获得的信息，这引出一个核心问题：哪些特权变化值得蒸馏？我们使用跨问题重复性作为潜在可复用指导的经验线索。比较完整解答和紧凑提示所引发的表示偏移，我们发现提示引发的偏移更加集中，且在不同问题间方向一致，尽管揭示的信息更少，却能带来更持续的下游收益。受这一关联启发，我们提出了用于在线策略自蒸馏的特权表示隔离方法（PreSO）。在源端，PreSO 使用紧凑提示来限制进入特权偏移的解答特定细节。在目标端，它从相关问题上汇总的偏移中估计一个主导低秩子空间，将特权引发的修正投影到该子空间上，并将其加到学生的非特权表示上，以形成表示级蒸馏目标。所选子空间作为重复结构的操作代理，而非对可迁移信息和实例特定信息的保证分离。在五个竞赛级数学基准上，PreSO 在 Qwen3-1.7B、4B 和 8B 上始终优于强基线，相比基础模型的平均准确率分别提升 6.8、9.0 和 10.0 分。除了峰值准确率之外，PreSO 在每个模型规模上都取得了最高的最终检查点平均值，且改进持续到训练结束。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14001 [cs.LG] |
| （或 arXiv:2610.14001v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14001 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuhang Yang [查看电子邮件]
[v1]
2026年9月27日星期日 08:48:42 UTC（1,446 KB）
来源：arXiv cs.AI · arxiv.org