arXiv cs.CL· Zaiquan Yang, Fei Wei, Yong Wang, Yudong Han, Yiyu Li, Zhuofan Zong, Gerhard Petrus Hancke, Xiangxiang Chu, Rynson WH Lau·· 2 天前AI 评分24
面向块扩散语言模型的无偏在线策略蒸馏框架 Un-OPD
Towards Unbiased On-Policy Distillation for Block Diffusion Language Models
AI 导读
针对块扩散语言模型（BDLM）在线策略蒸馏（OPD）在大块尺寸下训练不稳定的问题，研究者提出无偏蒸馏框架 Un-OPD，通过边界感知步过滤消除师生块边界不匹配导致的上下文错位，并用支持度重平衡的置信度校准抑制高支持位置的过度自信崩溃。该框架还引入 rollout 复用机制降低生成开销，在数学推理与代码生成基准上稳定训练并将实际训练时间缩短约一半。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）已成为语言模型一种有效的后训练范式，近期研究将其扩展到块扩散语言模型（BDLM）。然而，现有研究几乎只关注小块尺寸，对蒸馏到使用更大块的学生模型这一情形探索不足。在本工作中，我们研究了这一情形，并揭示了两个导致严重训练不稳定的关键优化偏差。第一，教师与学生之间块边界不匹配会导致\textbf{\textit{上下文错位}}，提供扭曲的监督信号，误导学生解码。第二，即使在上下文对齐的情况下，OPD 中存在一种\textbf{\textit{内在优化偏差}}，即学生倾向于快速吸收高支持信号，而在低支持更新上滞后，从而引发过早的置信度飙升，使较弱的学生陷入灾难性的过度自信崩溃。为解决这些问题，我们提出 \mbox{\textbf{Un-OPD}}，一个无偏的在线策略蒸馏框架，具有两项新颖之处以稳定 BDLM 训练。第一，Un-OPD 引入边界感知的步过滤策略，消除上下文错位的解码步。第二，Un-OPD 提出通过支持重平衡的置信度校准来调节高支持位置上的优化强度，从而绕过过度自信崩溃。除稳定性之外，我们还引入 rollout 复用机制以减少 rollout 生成开销。在数学推理和代码生成基准上的大量实验表明，Un-OPD 能持续稳定训练并带来更优性能，同时将实际训练时间减少约一半。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.05373 [cs.CL] |
| （或 arXiv:2610.05373v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05373 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zaiquan Yang [查看电子邮件]
[v1]
2026年10月4日星期日 17:00:16 UTC（2,429 KB）
[v2]
2026年10月15日星期四 15:52:33 UTC（5,940 KB）
来源：arXiv cs.CL · arxiv.org