HiLo-RD：跨预算自蒸馏提升掩码扩散语言模型

1. 12:00
   arXiv cs.CL

   HiLo-RD：面向掩码扩散语言模型的跨预算自蒸馏方法

   HiLo-RD 通过将大窗口教师状态与小窗口裁剪视图配对，并在提交位置匹配隐藏表示，提升掩码扩散语言模型在有限生成预算下的表现。在 GSM8K 上准确率提升 9.4 个百分点，平均可读长度缩短约 25%，且无需代码领域训练即可迁移到代码生成。该方法无需外部教师模型，同时引导 token 预测与提交顺序。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。