arXiv cs.CL· Arnav Chavan, Chanhyuk Lee, Udbhav Bamba, Jaehoon Yoo, Seunghoon Hong, Aditi Raghunathan, Jinwoo Kim·· 11 小时前AI 评分58
Lafa：扩展至 8B 参数的大型流语言模型
Large Flow Language Models
AI 导读
研究团队提出 Lafa（Large flow language model），一种可扩展到 8B 参数的块式流语言模型，前缀使用因果注意力、块内使用双向异步流，可基于预训练自回归模型适配训练。
正文 · AI 翻译
摘要：连续流语言模型提供了一条并行生成的路径，并具备离散扩散所不具备的控制与加速工具，但在十亿参数规模上构建此类模型的有效技术仍不够成熟。我们提出 Lafa（Large flow language model，大型流语言模型），这是一个以数据高效方式扩展到 8B 参数、快速且高性能的流语言模型。Lafa 是一种分块流模型，对前缀采用因果注意力，并在每个块内采用双向、异步流。这一设计通过适配预训练自回归（AR）模型实现高效训练，并通过前缀缓存和分块并行解码实现快速推理。我们以 0.5B、7B 和 8B 规模、使用少于 30B token 训练 Lafa，比以往的扩散模型更高效，并在指令遵循、推理和编码任务上对其进行评估，所学到的流在质量上匹配或超越 AR，并可蒸馏为流映射以实现单步和少步生成。值得注意的是，流训练通过多 token 预测效应保留甚至提升了预训练 AR 的能力，我们将其用于一种自推测解码方案，在单个模型内以自回归方式验证基于流的草稿。在质量相当的情况下，这带来了 AR 模型 2.54 倍的吞吐量，优于多 token 预测和离散扩散方法。我们的研究结果表明，连续流可以作为语言建模的可扩展基础。
| 评论： | 代码见：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28559 [cs.CL] |
| （或 arXiv:2610.28559v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28559 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Arnav Chavan [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 17:20:29 UTC（878 KB）
来源：arXiv cs.CL · arxiv.org