跳到正文
arXiv cs.CL· Artem Vazhentsev, Vladislav Smirnov, David Li, Maxim Panov, Timothy Baldwin, Artem Shelmanov·· 9 小时前AI 评分34

面向大型语言扩散模型的不确定性量化研究

Uncertainty Quantification for Large Language Diffusion Models

AI 导读

研究首次系统探讨大型语言扩散模型(LLDMs)的不确定性量化,提出从迭代去噪过程提取轻量级零样本不确定性信号,并结合掩码扩散似然与轨迹语义差异改进现有方法。在三个任务、八个数据集和四个模型上的实验显示,该方法接近最强采样基线,计算开销最多降低 100 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言扩散模型(LLDMs)正逐渐成为自回归模型的一种替代方案,通过更高的并行度实现更快的推理。与自回归 LLM 类似,它们仍然容易产生幻觉,因此可靠的不确定性量化(UQ)对于安全部署至关重要。然而,现有的 UQ 方法与这一新范式从根本上不匹配:它们假设自回归分解,或使用昂贵的重复采样,从而抵消了 LLDMs 的效率优势。在本工作中,我们首次对 LLDMs 的 UQ 进行了系统研究,并提出源自迭代去噪过程的轻量级零样本不确定性信号,利用中间生成结果、token 重掩码动态和去噪复杂度。我们进一步通过将掩码扩散似然与基于轨迹的语义不相似度相结合,将一种最先进的 UQ 方法适配到 LLDMs。我们证明了期望轨迹不相似度是掩码扩散训练目标的下界,这为其作为不确定性评分的使用提供了动机。跨三个任务、八个数据集和四个模型的全面实验表明,我们的方法实现了出色的成本-性能权衡:它接近最强的基于采样的基线,同时计算开销最多低 100 倍。我们的工作表明,LLDMs 可以同时实现快速推理和可靠的幻觉检测。
评论: Advances in Neural Information Processing Systems 39 (NeurIPS 2026)
主题: 计算与语言(cs.CL)
引用为: arXiv:2605.14570 [cs.CL]
  (或 arXiv:2605.14570v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.14570

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Artem Vazhentsev [查看电子邮件]
[v1] 2026年5月14日星期四 08:39:56 UTC(853 KB)
[v2] 2026年11月17日星期二 13:27:44 UTC(2,041 KB)

来源:arXiv cs.CL · arxiv.org