Mix-FT微调让扩散语言模型少步采样更优
热点事件持续更新
Mix-FT微调让扩散语言模型少步采样更优
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者 Amin Najafgholizadeh 等人提出混合似然微调（Mix-FT），在预训练模型上按其采样器似然的重要性加权界进行微调，无需教师模型，也不改动模型架构与采样器，目的是提升少步掩码扩散语言模型的采样质量。 在 LLaDA-8B 上，团队仅用相当于预训练算力 0.002% 的 LoRA 微调，使每块 16 步（模型评估量减半）的续写效果在三个评判器、各随机种子下均优于原模型；两位来自不同模型族的盲评 LLM 评审分别在 69% 和 71% 的样本对中更偏好其输出。上述结果来自研究者的实验报告。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
Mix-FT：通过混合似然微调让掩码扩散语言模型实现少步采样报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CLMix-FT：通过混合似然微调让掩码扩散语言模型实现少步采样
研究者提出混合似然微调（Mix-FT），在预训练模型上按其采样器似然的重要性加权界进行微调，无需教师模型、不改架构与采样器。在 LLaDA-8B 上，仅用预训练算力 0.002% 的 LoRA 微调，每块 16 步（模型评估量减半）的续写效果在三个评判器、各随机种子下均优于原模型，两位不同模型族的盲评 LLM 评审在 69% 和 71% 的样本对中更偏好其输出。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。