arXiv cs.AI· Feiyang Chen, Runze Ma, Zichen Wang, Jiong Lou, Zihan Wang, Shuangjia Zheng, Jie Li·· 2 天前AI 评分27
Shared Residual Distillation：让语言模型从无验证的同侪解答中学习
Learning from Unverified Peers via Shared Residual Distillation
AI 导读
研究者提出 Shared Residual Distillation（SRD），一种 on-policy 自蒸馏方法，让模型直接从自身未经正确性验证的同侪轨迹中学习，通过对比同侪相对对照组对预测分布的调整，保留方向一致且幅度保守的修正。
正文 · AI 翻译
摘要：语言模型可以对同一问题生成多个解答，其中一些导向正确答案，另一些则导向错误答案。许多后训练方法利用参考答案、可验证反馈或外部教师的监督，将这些轨迹转化为学习信号。在没有此类监督的情况下，从模型自身的生成中学习就不那么直接，因为其正确性无法被可靠评估。一个错误的解答仍可能包含有用的中间推理，因此其作为监督的价值不应仅由其最终答案决定。模型能否在未先判断哪些同伴解答正确的情况下，从自身未经核验的同伴解答中学习并得到提升？
我们提出共享残差蒸馏（SRD），一种从模型自身未经核验的同伴轨迹中学习的同策略自蒸馏方法。SRD 比较同伴相对于对照如何改变预测分布，保留方向一致且幅度保守的调整。这产生了监督，而不将任何完整解答视为正确，且训练后的模型在推理时无需同伴。从相应的基础模型出发，SRD 将平均 AIME24--26 avg@12 在 Qwen3-1.7B 上从 11.02 提升至 16.20，在 Qwen3-4B 上从 19.07 提升至 45.46，在 Qwen3-8B 上从 21.39 提升至 54.44。受控消融实验支持共享残差构造的价值，并且我们在两个通用能力基准上未观察到相对于基础模型的退化。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22080 [cs.AI] |
| （或 arXiv:2610.22080v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22080 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Feiyang Chen [查看邮箱]
[v1]
2026年10月15日星期四 15:36:40 UTC（2,334 KB）
来源：arXiv cs.AI · arxiv.org