arXiv cs.CL· Jiajun Liang, Yucheng Liao, Yukang Cao, Jiazhe Wei, Ken Li, Wende Tan, Jiankun Zhang, ZY Cui, Jingkang Yang, Liucheng Guo, Shiqi Yang, B. Yang, Caifeng Shan, Ziwei Liu, Chenyang Si·· 10 小时前AI 评分38
AURORA-LM：面向连续潜空间扩散语言建模的统一自编码表示
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
AI 导读
AURORA-LM 提出一种连续潜空间扩散语言模型，将可解码文本表示的构建与分布建模分离：Query-based 编码器-解码器把文本组织为高容量、前缀对齐的潜序列，Block-causal Diffusion Transformer 通过 flow matching 从左到右逐块生成。
正文 · AI 翻译
作者：Jiajun Liang、Yucheng Liao、Yukang Cao、Jiazhe Wei、Ken Li、Wende Tan、Jiankun Zhang、ZY Cui、Jingkang Yang、Liucheng Guo、Shiqi Yang、B. Yang、Caifeng Shan、Ziwei Liu、Chenyang Si
摘要：语言在生成建模中仍是一个例外：图像、视频和音频越来越多地在连续潜空间中进行建模，而文本生成仍主要依赖离散 token。现有的连续语言模型要么继承了并非为联合生成与解码而设计的嵌入空间，要么压缩自编码潜变量以方便扩散，从而牺牲了 token 级保真度。我们没有为了迁就生成模型而简化表示，而是保留高容量、可解码的文本潜变量，并设计扩散模型直接学习其分布。
我们提出 AURORA-LM，一种连续潜变量扩散语言模型，它将可解码文本表示的构建与其分布的建模分离。基于 Query 的编码器-解码器将文本组织为高容量、前缀对齐的潜序列，块因果扩散 Transformer 通过流匹配学习其分布，从左到右生成块，同时并行地对每个块内的位置去噪。由于这种潜变量更难被扩散模型建模，AURORA-LM 仅限制含噪输入通路，同时保留完整的干净潜变量预测目标，从而在不降低面向解码器容量的情况下容纳全宽潜变量。我们进一步根据潜变量宽度校准噪声水平分布，并引入自轨迹一致性，以衔接训练时独立采样的噪声与推理时的迭代去噪。
在 OpenWebText 自由生成和 XSum 摘要任务上，AURORA-LM 在所评估的连续语言模型和基于扩散的语言模型中取得了最强性能。扩展到 1B 参数、总计算量约 1500 EFLOPs 后取得进一步提升，在匹配的评估协议下超过了更大的公开潜扩散语言模型。所有实验均在 Ascend NPU 上进行。
| 评论： | 42 页，18 张表；更新了实验细节。项目页面：this https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.02602 [cs.CL] |
| （或 arXiv:2608.02602v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.02602 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jiajun Liang [查看邮箱]
[v1]
2026 年 8 月 3 日星期一 17:59:50 UTC（2,392 KB）
[v2]
2026 年 11 月 4 日星期三 08:54:29 UTC（1,569 KB）
来源：arXiv cs.CL · arxiv.org