arXiv cs.CL· Amin Najafgholizadeh·· 11 小时前AI 评分38
Mix-FT：通过混合似然微调让掩码扩散语言模型实现少步采样
Train the Sampler You Run: Few-Step Masked Diffusion Language Models via Mixture-Likelihood Fine-Tuning
AI 导读
研究者提出混合似然微调（Mix-FT），在预训练模型上按其采样器似然的重要性加权界进行微调，无需教师模型、不改架构与采样器。在 LLaDA-8B 上，仅用预训练算力 0.002% 的 LoRA 微调，每块 16 步（模型评估量减半）的续写效果在三个评判器、各随机种子下均优于原模型，两位不同模型族的盲评 LLM 评审在 69% 和 71% 的样本对中更偏好其输出。
正文 · AI 翻译
摘要：当掩码扩散语言模型以随机顺序在少量并行步骤中采样时，实际运行的模型是对揭示计划的混合，而交叉熵训练拟合的是 token 条件分布，而非这一混合分布。我们提出混合似然微调（Mix-FT），它在预训练模型自身采样器似然的重要性加权边界上进行微调，无需教师模型，也不改变架构或采样器。在 LLaDA-8B 上，一次仅消耗预训练计算量 0.002% 的 LoRA 微调，在每一个测试的步数下，都能比相同计算量下的持续交叉熵训练和 Alpha diffusion 写出更好的 OpenWebText 续写。在模型评估次数减半（每块 16 步而非 32 步）的情况下，其续写在三个评判者下的每个随机种子中都优于原始模型，且同时适用于基于置信度的解码和随机顺序；在基于置信度的解码下，来自不同模型家族的两名盲评 LLM 评判者分别在 69% 和 71% 的配对中更偏好这些续写。在一个公开的 110M 参数块扩散模型上，Mix-FT 耗时不到四个 T4 小时，并在每块 4、8 和 16 步下，在两个评判者的每个随机种子中都优于持续交叉熵训练、Alpha diffusion 和 SDTT 蒸馏。在 text8 上的精确似然（并设置一个对每个计划等权加权的对照）表明，相对于持续交叉熵训练的似然增益中约四分之三可归因于按每个计划对序列的解释程度对其进行加权。
| 评论： | 41 页，8 幅图，34 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02666 [cs.LG] |
| （或 arXiv:2611.02666v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02666 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amin Najafgholizadeh [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 07:24:22 UTC（262 KB）
来源：arXiv cs.CL · arxiv.org