arXiv·· 15 天前AI 评分22
Pivot-SD：面向掩码扩散语言模型的高效自蒸馏方法
Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models
AI 导读
针对掩码扩散语言模型（dLM）中少数去噪承诺决定整体输出的信用分配难题，研究者提出 Pivot-SD 自蒸馏方法，不再只训练最终文本或给整个去噪步骤分配奖励，而是定位并训练那些塑造响应的关键承诺 token。该方法面向 dLM 的并行推理场景，具体效果与可用性原文未给出。
来源：arXiv · arxiv.org