arXiv cs.CL· Artem Vazhentsev, Vladislav Smirnov, David Li, Maxim Panov, Timothy Baldwin, Artem Shelmanov·· 9 小时前AI 评分34
面向大型语言扩散模型的不确定性量化研究
Uncertainty Quantification for Large Language Diffusion Models
AI 导读
研究首次系统探讨大型语言扩散模型(LLDMs)的不确定性量化,提出从迭代去噪过程提取轻量级零样本不确定性信号,并结合掩码扩散似然与轨迹语义差异改进现有方法。在三个任务、八个数据集和四个模型上的实验显示,该方法接近最强采样基线,计算开销最多降低 100 倍。
正文 · AI 翻译
摘要:大型语言扩散模型(LLDMs)正逐渐成为自回归模型的一种替代方案,通过更高的并行度实现更快的推理。与自回归 LLM 类似,它们仍然容易产生幻觉,因此可靠的不确定性量化(UQ)对于安全部署至关重要。然而,现有的 UQ 方法与这一新范式从根本上不匹配:它们假设自回归分解,或使用昂贵的重复采样,从而抵消了 LLDMs 的效率优势。在本工作中,我们首次对 LLDMs 的 UQ 进行了系统研究,并提出源自迭代去噪过程的轻量级零样本不确定性信号,利用中间生成结果、token 重掩码动态和去噪复杂度。我们进一步通过将掩码扩散似然与基于轨迹的语义不相似度相结合,将一种最先进的 UQ 方法适配到 LLDMs。我们证明了期望轨迹不相似度是掩码扩散训练目标的下界,这为其作为不确定性评分的使用提供了动机。跨三个任务、八个数据集和四个模型的全面实验表明,我们的方法实现了出色的成本-性能权衡:它接近最强的基于采样的基线,同时计算开销最多低 100 倍。我们的工作表明,LLDMs 可以同时实现快速推理和可靠的幻觉检测。
| 评论: | Advances in Neural Information Processing Systems 39 (NeurIPS 2026) |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.14570 [cs.CL] |
| (或 arXiv:2605.14570v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.14570 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Artem Vazhentsev [查看电子邮件]
[v1]
2026年5月14日星期四 08:39:56 UTC(853 KB)
[v2]
2026年11月17日星期二 13:27:44 UTC(2,041 KB)
来源:arXiv cs.CL · arxiv.org