arXiv cs.CL· Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao·· 12 小时前AI 评分38
Cola2：融合连续语义压缩与均衡离散生成的自适应分层语言建模框架
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
AI 导读
Cola2 提出一种分层语言生成框架，将连续语义压缩与离散文本生成联合建模，通过无辅助损失的负反馈控制压缩率，并用块因果掩码扩散解码器结合无分类器引导平衡重建与生成。
正文 · AI 翻译
摘要：分层语言生成将连续语义建模与离散文本实现分离，但其有效性取决于潜在空间压缩的内容以及离散生成器如何使用它。我们提出 Cola2，一个联合研究连续语义压缩、重建与生成之间的平衡以及连续-离散协同适应的框架。Cola2 将文本动态分割为语义片段，通过无辅助损失的负反馈控制压缩率，并结合重建与生成监督来学习紧凑、可预测的潜在表示。一个块因果掩码扩散解码器在干净、加噪和丢弃的潜在条件下训练，而无分类器引导则调整语义重建与自主生成之间的平衡。Token 预测梯度通过潜在表示更新编码器，而 Flow Matching 先验学习通过停止梯度与表示学习解耦。在推理过程中，生成的文本在固定片段布局下重新编码，以保持潜在历史与实际文本上下文一致。在约 2100 亿训练 token 上的五个下游任务实验验证了核心设计，并展示了具有竞争力且未饱和的扩展性。在 3460.3 亿源 token 下，一个未收敛的检查点在八项任务上达到 60.10 的平均分，并在 HellaSwag 和 StoryCloze 上超越了 Llama-3-8B，尽管其报告的预训练预算超过后者的 43 倍。这些结果展示了连续潜在分层语言生成的潜力。
| 评论： | 47 页，14 幅图，5 张表 |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.31305 [cs.CL] |
| （或 arXiv:2610.31305v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31305 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hongcan Guo [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 14:04:07 UTC（1,338 KB）
来源：arXiv cs.CL · arxiv.org