研究团队提出8B参数连续流语言模型Lafa

Arnav Chavan等作者提出并训练了Lafa（Large flow language model），一种可扩展到8B参数的块式流语言模型：前缀使用因果注意力，块内使用双向异步流，并可基于预训练自回归模型适配训练。 作者称，Lafa在0.5B、7B和8B规模上以少于300亿token完成训练，比此前的扩散模型更高效；在指令遵循、推理和编程任务上，学到的流质量与自回归模型持平或更优，并可蒸馏为flow map，实现一步或少步生成。这些效果均为作者在论文中的表述。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。