arXiv·· 14 天前AI 评分24
BayesER:面向校准扩散语言模型的贝叶斯熵重排序解码
Bayesian Entropy-based Reordering for Calibrated Diffusion Language Models
AI 导读
针对掩码扩散语言模型(MDLM)解码时依赖易失准的 softmax 置信度问题,研究者提出贝叶斯解码框架 BayesER,用预测不确定性指导 token 提交顺序。该方法以预训练 checkpoint 为中心构建轻量近似后验,思路类似 Laplace-LoRA。
来源:arXiv · arxiv.org