arXiv cs.CL· Xiang Li, Chengting Yu, Jungang Li, Yilun Zheng, Junzhuo Li, Xingyao Zhang, Wenbo Su, Xuming Hu·· 2 天前AI 评分31
HiLo-RD：面向掩码扩散语言模型的跨预算自蒸馏方法
HiLo-RD: Cross-Budget Self-Distillation for Masked Diffusion Language Models
AI 导读
HiLo-RD 通过将大窗口教师状态与小窗口裁剪视图配对，并在提交位置匹配隐藏表示，提升掩码扩散语言模型在有限生成预算下的表现。在 GSM8K 上准确率提升 9.4 个百分点，平均可读长度缩短约 25%，且无需代码领域训练即可迁移到代码生成。该方法无需外部教师模型，同时引导 token 预测与提交顺序。
正文 · AI 翻译
摘要：我们提出 HiLo-RD（High-to-Low Budget Representation Distillation，高到低预算表示蒸馏），用于在有限生成预算下改进掩码扩散语言模型（MDLM）。与自回归模型不同，MDLM 同时决定生成什么内容以及在哪里提交这些内容。这带来了两个相互耦合的挑战：在推理完成之前预测有用的内容，以及决定何时固定那些会影响后续预测的答案 token。我们识别出预算导致的过早提交：即使正确的解能够容纳，模型也可能在解决中间步骤之前就固定窗口边界附近的答案片段。这些片段会成为后续预测的上下文，并改变后续推理的方向。现有的后训练方法无法直接迁移同一模型在更大窗口下所遵循的更强轨迹。HiLo-RD 通过以下方式弥补这一差距：(1) 将大窗口教师状态与裁剪后的小窗口视图配对；(2) 在已提交位置匹配它们的隐藏表示。这种监督无需外部教师即可同时引导 token 预测和提交顺序。在数学基准上，HiLo-RD 提高了低预算准确率并缩短了回答；这些收益还扩展到代码生成，且无需代码领域训练。在 GSM8K 上，准确率提升了 9.4 个百分点，同时平均可读长度下降了约 25%。注意力诊断和固定预算顺序干预支持了所提出的机制。总之，这些结果表明大窗口推理可以改进小窗口解码。
| 评论： | 20 页，9 幅图，3 张表；审稿中 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36901 [cs.LG] |
| （或 arXiv:2610.36901v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36901 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiang Li [查看邮箱]
[v1]
2026 年 10 月 27 日星期二 09:34:08 UTC（546 KB）
来源：arXiv cs.CL · arxiv.org