arXiv cs.CL· Theodoros Kouzelis, Spyros Gidaris, Nikos Komodakis·· 13 小时前AI 评分32
SERF：自正则化流式语言模型框架
Self-Regularized Flow Language Models
AI 导读
SERF 是一个自监督框架，通过含噪到干净的自蒸馏利用连续扩散语言模型的去噪轨迹，无需外部预训练模型或改动推理流程。在 one-hot FLM、latent ELF 和 S-FLM 三种范式上，SERF 在 OpenWebText 上实现最高 7.7x 实际训练加速，MAUVE 提升 24.3%，GSM8K 准确率最高提升 28.8%，并以最多 64x 更少的采样步数达到基线性能。
正文 · AI 翻译
摘要：我们提出 SERF（自正则化流语言模型），这是一个简单的自监督框架，通过利用去噪轨迹本身来改进连续扩散语言模型。虽然基于连续流的语言模型为自回归生成提供了一种有前景的替代方案，但它们的训练目标通常依赖于干净目标 token 的监督，使得去噪轨迹作为一种学习信号未被充分利用。SERF 通过从噪声到干净的自蒸馏解决了这一局限：指数移动平均（EMA）教师模型接收学生模型噪声输入沿同一插值路径的更干净版本，并提供额外的监督。我们研究了两种变体：SERF-L，将学生的中间表示与更深的教师表示对齐；SERF-P，将它们的输出 token 分布对齐，可以在学生输出处或学生早期层处进行。所有变体都在不依赖外部预训练模型、不修改推理过程的情况下增强了标准训练目标。在三种连续语言模型范式（one-hot FLM、latent ELF 和超球面 S-FLM）上的实验表明，训练效率、生成质量和少步生成均有显著提升。特别是，SERF 在 OpenWebText 上实现了最高 7.7 倍的挂钟训练加速，将 MAUVE 提高了 24.3%，GSM8K 准确率最高提升 28.8%，并以最多 64 倍的更少采样步数达到基线性能。这些结果确立了从噪声到干净的自蒸馏是改进连续扩散语言模型的有效方法。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37115 [cs.LG] |
| （或 arXiv:2610.37115v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37115 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Theodoros Kouzelis [查看电子邮件]
[v1]
2026年10月27日星期二 12:12:42 UTC（617 KB）
来源：arXiv cs.CL · arxiv.org