arXiv cs.CL· Runsheng Chen, Yihong Liu, Raoyuan Zhao, Michael A. Hedderich, Hinrich Sch\"utze, Matthias Grabmair·· 13 小时前AI 评分31
Bridged Self-Distillation：统一框架实现跨分词器与闭源 API 教师的在线策略蒸馏
Bridged Self-Distillation for On-Policy Learning
AI 导读
研究者提出 Bridged Self-Distillation（BSD），一个可从任意提供推理轨迹的教师模型蒸馏的统一框架。外部教师仅需离线生成推理轨迹作为特权上下文，学生模型在无上下文条件下生成 rollout，再由条件化于该上下文的学生副本作为自教师，在学生自身 token 空间内为同一批 rollout 打分，并结合验证器提供的结果信号调整失败 rollout 的更新。
正文 · AI 翻译
摘要：在线策略蒸馏可以将强大教师的推理能力迁移给较小的学生模型。然而，从更强的教师模型进行蒸馏面临两个不匹配：其解答可能难以被较小的学生模型模仿，其 token 级概率可能与学生模型不兼容，甚至学生模型无法获取。现有方法通过不同形式的监督来处理这些情形。为此，我们提出桥接自蒸馏（BSD），这是一个统一的框架，可从任何提供推理轨迹的教师模型进行蒸馏。被蒸馏的模型称为外部教师，它首先提供推理轨迹作为特权上下文，该轨迹可以离线生成。学生模型在没有该上下文的情况下生成 rollout，而一个以该上下文为条件的、学生模型的副本作为自教师，在学生模型自身的 token 空间中为相同的 rollout 打分。BSD 利用由此产生的 token 级指导来调整对不成功 rollout 的更新，并由验证器提供结果信号。由于外部教师仅被查询以生成文本，相同的训练过程适用于所有教师场景：共享分词器、跨分词器和闭源 API 教师。在这些场景中，BSD 均优于基础模型，并优于针对各场景定制的基线方法，为蒸馏提供了一条新颖且统一的路径。代码见：this https URL
| 评论： | 21 页，10 幅图，15 张表。代码：this https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26397 [cs.CL] |
| （或 arXiv:2610.26397v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26397 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Runsheng Chen [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 13:40:50 UTC（1,029 KB）
[v2]
2026 年 10 月 27 日星期二 09:48:42 UTC（1,029 KB）
来源：arXiv cs.CL · arxiv.org