SERF:自正则化流语言模型训练框架
热点事件持续更新
SERF:自正则化流语言模型训练框架
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Theodoros Kouzelis 等作者提出 SERF 自正则化流语言模型训练框架,通过含噪到干净的自蒸馏利用连续扩散语言模型的去噪轨迹,无需外部预训练模型或改动推理流程。 作者称,在 one-hot FLM、latent ELF 和 S-FLM 三种范式上,SERF 在 OpenWebText 上实现最高 7.7 倍实际训练加速,MAUVE 提升 24.3%,GSM8K 准确率最高提升 28.8%,并以最多 64 倍更少的采样步数达到基线性能。上述效果均为作者报告,尚待独立验证。
AI 根据报道生成 · 3 小时前更新
最新进展10月28日 12:00
SERF:自正则化流式语言模型框架报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.CLSERF:自正则化流式语言模型框架
SERF 是一个自监督框架,通过含噪到干净的自蒸馏利用连续扩散语言模型的去噪轨迹,无需外部预训练模型或改动推理流程。在 one-hot FLM、latent ELF 和 S-FLM 三种范式上,SERF 在 OpenWebText 上实现最高 7.7x 实际训练加速,MAUVE 提升 24.3%,GSM8K 准确率最高提升 28.8%,并以最多 64x 更少的采样步数达到基线性能。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。