arXiv cs.CL· Georgios Batzolis, Mark Girolami, Luca Ambrogioni·· 10 小时前AI 评分32
CoBit：用比特流扩散进行语言建模
CoBit: Language Modeling with Bitstream Diffusion
AI 导读
CoBit 是一种连续扩散语言模型，通过联合去噪固定宽度的二进制 token 码生成文本，将每个码的比特打包为单个 Transformer patch，以 ⌈log₂V⌉ 个比特 logits 替代全词表预测。
正文 · AI 翻译
摘要：我们提出 CoBit，一种连续扩散语言模型，通过联合去噪固定宽度的二值 token 编码来生成文本。将每个编码的比特分组为单个 Transformer patch，可在保持序列长度的同时，用 $\lceil\log_2 V\rceil$ 个比特 logits 替代词表范围的预测。匹配滤波残差参数化提供了解析的孤立比特后验，使网络只需学习上下文修正。在熵率网格上的随机采样带来了最大的经验增益；该网格将求解器分辨率和有效 Langevin 修正分配到信息得以解析的噪声水平上。在 256 次去噪器评估下，CoBit-S（130M 参数）在 LM1B 上达到生成困惑度 59.76，在 OpenWebText 上达到 27.06，对应的 unigram 熵分别为 4.31 和 5.26。扩展到 462M 参数后，OpenWebText 生成困惑度在熵 5.40 时提升至 19.48。除开放式文本生成外，CoBit 在困难数独上达到 65.9% 的精确匹配准确率。在 GSM8K 上，采用分数温度缩放并在最后积分步骤中不施加温度，可将 CoBit-S 的准确率从 28.1% 提升至 35.3%，且无需额外的去噪器评估，使其落入温度调优的离散扩散基线的报告范围内。匹配主干分析还显示，与稠密 token 输出基线相比，其峰值内存更低、吞吐量更高。
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2605.07013 [cs.CL] |
| （或 arXiv:2605.07013v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.07013 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Georgios Batzolis [查看邮箱]
[v1]
2026年5月7日星期四 22:50:51 UTC (2,269 KB)
[v2]
2026年6月15日星期一 15:19:18 UTC (2,632 KB)
[v3]
2026年11月6日星期五 16:59:55 UTC (2,480 KB)
来源：arXiv cs.CL · arxiv.org