arXiv cs.AI· Hermann Kumbong, Ishan S. Khare, Iddah Mlauzi, Andrew Woen, Charles Ding, E. Kelly Buchanan, Simran Arora, Azalia Mirhoseini, Christopher R\'e·· 3 天前AI 评分39
Next-Concept Modeling：快速并行的由粗到细文本生成
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
AI 导读
研究者提出 Next-Concept Modeling（NCM），一种两阶段由粗到细框架：多尺度残差 VQ-VAE 将文本编码为离散码层级，Transformer 逐层生成并并行预测层内所有码。
正文 · AI 翻译
摘要：扩散语言模型（DLM）通过并行采样实现比自回归模型更快的生成，随着推理成为主导的计算负载，这一优势日益重要。然而，DLM 在采样步数减少时性能会迅速下降，每一步都要处理完整序列，并且需要对数据集进行多次遍历才能达到良好质量。我们提出了下一概念建模（NCM），这是一个两阶段的由粗到细框架：多尺度残差 VQ-VAE 将文本编码为离散代码的层次结构，而 transformer 一次生成一个层级，并行预测该层级内的所有代码。在参数规模匹配的情况下，NCM 在 LM1B 上取得了比最强的 DLM 基线更好的生成困惑度，同时运行速度快 $21\times$。在 OpenWebText 上，NCM 与最强的 DLM 相当，同时运行速度快 $10\times$；在 XSum 上，其 ROUGE-L 与最强的 DLM 持平，同时速度快 $31\times$。在数独推理任务上，NCM 在所有难度级别上都优于自回归和扩散基线，且使用的函数评估次数更少。在数独推理任务上，NCM 在所有难度级别上都优于自回归和扩散基线，且使用的函数评估次数更少。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14162 [cs.CL] |
| （或 arXiv:2610.14162v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14162 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hermann Kumbong [查看电子邮件]
[v1]
2026年10月9日星期五 17:49:45 UTC（352 KB）
来源：arXiv cs.AI · arxiv.org