arXiv cs.CL· Chanhyuk Lee, Wonjung Kim, Patrick Pynadath, Jaehoon Yoo, Satoshi Hayakawa, Ruqi Zhang, Jinwoo Kim, Seunghoon Hong·· 10 小时前AI 评分38
异步流映射语言模型 aFMLM：将预测顺序引入一步并行生成
Asynchronous Flow Map Language Models
AI 导读
研究者提出异步流映射语言模型（aFMLMs），通过 tokenwise 时间调度把预测顺序编码进流映射，使模型单次前向即可生成全部 token。该框架支持预设与可学习的状态自适应调度，并给出新的流映射蒸馏方法。在数独求解与 GSM8K 数学应用题代码生成任务上，aFMLM 刷新了一步生成的最优性能。
正文 · AI 翻译
摘要：语言建模中预测 token 的顺序对生成序列的质量有深远影响。自回归模型和掩码扩散模型会迭代地填充 token，并能在多个生成步骤中利用这种顺序，但如何将顺序用于一步并行语言建模尚不清楚。我们提出了异步流映射语言模型（aFMLMs），通过学习异步流的流映射，将预测顺序纳入一步建模。这些流通过逐 token 的时间调度来指定一种顺序，该调度控制各 token 的相对去噪进度。我们构建了一类通用的异步流，既支持预设调度也支持学习到的、状态自适应的调度，证明它们定义了有效的流映射，并为其流映射蒸馏开发了新方法。由此得到的模型通过将流中编码的顺序内化到其隐藏计算中，能够在单次前向传播中生成所有 token。在数独求解和 GSM8K 数学应用题代码生成上，aFMLM 确立了一步性能的新最优水平。
| 评论： | 代码见：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42018 [cs.CL] |
| （或 arXiv:2610.42018v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42018 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chanhyuk Lee [查看邮箱]
[v1]
2026年10月30日星期五 16:51:40 UTC（1,014 KB）
来源：arXiv cs.CL · arxiv.org