arXiv cs.CL· Keya Hu, Linlu Qiu, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He·· 11 小时前AI 评分38
ELF：嵌入空间语言流模型
ELF: Embedded Language Flows
AI 导读
研究者提出 Embedded Language Flows（ELF），一类基于连续时间 Flow Matching、在连续嵌入空间中运行的扩散语言模型，直到最后一步才通过共享权重网络映射为离散 token。
正文 · AI 翻译
摘要：扩散模型和基于流的模型已成为生成连续数据的事实标准方法，例如在图像和视频等领域。它们的成功吸引了人们越来越大的兴趣，将其应用于语言建模。与图像领域的对应模型不同，当今领先的扩散语言模型（DLM）主要基于离散 token 运行。在本文中，我们表明，连续 DLM 只需对离散域做最小适配即可变得有效。我们提出嵌入式语言流（ELF），这是一类基于连续时间 Flow Matching 的连续嵌入空间扩散模型。与现有 DLM 不同，ELF 主要停留在连续嵌入空间中，直到最后一个时间步，才使用共享权重网络映射到离散 token。这种形式使得从图像领域扩散模型中借鉴成熟技术（例如无分类器引导，CFG）变得直接。实验表明，ELF 显著优于领先的离散和连续 DLM，以更少的采样步骤实现更好的生成质量。这些结果表明，ELF 为有效的连续 DLM 提供了一条有前景的路径。
| 评论： | NeurIPS 2026。arXiv v3：添加 GSM8k 结果 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.10938 [cs.CL] |
| （或 arXiv:2605.10938v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10938 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Keya Hu [查看电子邮件]
[v1]
2026年5月11日星期一 17:59:29 UTC（1,078 KB）
[v2]
2026年6月26日星期五 03:16:31 UTC（1,107 KB）
[v3]
2026年11月5日星期四 00:41:32 UTC（1,195 KB）
来源：arXiv cs.CL · arxiv.org