arXiv cs.CL· Jiawei Jiang, Zhaoxiang Zang, Zhengtao Yu·· 11 小时前AI 评分22
Token Identity Brier Flow：用 token 身份平方监督继续训练连续语言流模型
Continued Training of Continuous Language Flows with Token Identity Squared Supervision
AI 导读
研究者提出 Token Identity Brier Flow（TIBF），在继续训练预训练语言流模型时，用 Brier loss 直接对 token 身份施加平方监督，并结合高斯观测模型融合网络分数与 token 匹配分数。
正文 · AI 翻译
摘要：扩散模型和流模型最近被扩展到语言建模，通过在 token 嵌入空间中进行连续去噪来生成文本。预训练模型提供 token 表示和上下文预测能力，但在额外训练有限的情况下改进生成，需要在监督信号与连续生成之间建立适当的联系。连续 MSE 评估的是用预测概率对 token 嵌入加权得到的预测向量；不同的概率分布可能产生相同的向量，因此在该目标下无法区分。我们提出 Token Identity Brier Flow（TIBF），在继续训练预训练语言流模型时，直接将平方监督应用于 token 身份。TIBF 在高斯观测模型下将网络分数与 token 匹配分数相结合，使用 Brier 损失监督 token 概率，并使用概率加权嵌入进行连续生成。在固定 token 嵌入的情况下，我们证明预测 token 概率与真实后验之间的平方误差界定了连续去噪预测和流速度的平方误差。风险分解将观测中固有的不确定性与后验拟合误差分开，从而支持在保留预训练嵌入并专注于概率预测的情况下进行继续训练。我们还建立了在理想预测下收敛到 token 嵌入的条件，以及存在预测误差时局部收敛的充分条件。从常见的预训练初始化出发，在匹配的继续训练预算下，冻结嵌入的 TIBF 在 OWT 上达到 this http URL 值 33.96，在 LM1B 上达到 81.17，优于连续 MSE 和 CE 继续训练对照组。在两个数据集上每个测试的采样预算下，它都达到最低的 this http URL，同时在 LM1B 上具有最低的重复率。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07721 [cs.CL] |
| （或 arXiv:2611.07721v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07721 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhaoxiang Zang [查看电子邮件]
[v1]
2026年11月5日星期四 09:38:06 UTC（1,249 KB）
来源：arXiv cs.CL · arxiv.org