arXiv cs.CL· Daisuke Oba, Hiroki Furuta, Naoaki Okazaki·· 11 小时前AI 评分24
BCT：面向流式语言模型的贝叶斯一致温度调节方法
BCT: Bayes-Consistent Tempering for Flow Language Models
AI 导读
研究者提出 Bayes-Consistent Tempering（BCT），让温度同时显式作用于生成流的分布与动力学，解决后验诱导流语言模型中温度缩放与去噪器训练状态不匹配的问题。
正文 · AI 翻译
摘要：温度缩放通常作为模型概率的事后变换来应用。在后验诱导流语言模型中，这会产生两处不匹配。第一，后验温度调节会隐式地同时改变端点分布和中间噪声状态的分布，而去噪器仍是在原始状态上训练的。第二，经过温度调节的后验权重会与为未调节流推导出的传输动力学相结合。这些不匹配在实证中有所体现：在流语言模型中，降低温度对 GSM8K 性能的提升远不如在离散扩散语言模型中可靠。我们提出贝叶斯一致温度调节（BCT），使温度在生成流的分布和动力学中都显式化。其学习实现会在经过温度调节的中间状态上训练去噪器，并使用相应的温度调节动力学来调节端点分布。我们还为常规训练的检查点推导了免训练变体。在采用两种去噪器架构的超球面流语言模型和一个 von Mises--Fisher 流语言模型中，BCT 在广泛的温度范围内提升了 GSM8K 生成效果，并取得了最强的温度调节性能。这些增益也扩展到数独，表明其在强约束生成上的益处。在极低温度下，学习实现也明显比免训练变体更稳健，这支持将温度视为贯穿训练和推理的生成流属性，而非事后概率调整。代码和模型权重可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.27641 [cs.LG] |
| （或 arXiv:2610.27641v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27641 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daisuke Oba [查看电子邮件]
[v1]
2026年10月20日星期二 05:03:03 UTC（256 KB）
来源：arXiv cs.CL · arxiv.org