跳到正文
热点事件持续更新

SERF:自正则化流语言模型训练框架

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Theodoros Kouzelis 等作者提出 SERF 自正则化流语言模型训练框架,通过含噪到干净的自蒸馏利用连续扩散语言模型的去噪轨迹,无需外部预训练模型或改动推理流程。 作者称,在 one-hot FLM、latent ELF 和 S-FLM 三种范式上,SERF 在 OpenWebText 上实现最高 7.7 倍实际训练加速,MAUVE 提升 24.3%,GSM8K 准确率最高提升 28.8%,并以最多 64 倍更少的采样步数达到基线性能。上述效果均为作者报告,尚待独立验证。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.CL
    SERF:自正则化流式语言模型框架

    SERF 是一个自监督框架,通过含噪到干净的自蒸馏利用连续扩散语言模型的去噪轨迹,无需外部预训练模型或改动推理流程。在 one-hot FLM、latent ELF 和 S-FLM 三种范式上,SERF 在 OpenWebText 上实现最高 7.7x 实际训练加速,MAUVE 提升 24.3%,GSM8K 准确率最高提升 28.8%,并以最多 64x 更少的采样步数达到基线性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。