arXiv cs.CL· Debarpan Bhattacharya, Malay Phadke, Sriram Ganapathy·· 10 小时前AI 评分26
BiG-SURE：用二分图估计 LLM 语义不确定性与可靠性
BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
AI 导读
BiG-SURE 是一种面向黑盒 LLM 与 VLM 的无监督不确定性估计方法，通过跨温度语义一致性构建锚点-探针二分图，并以归一化平方谱能量定义置信度。在文本 QA、多语言 QA 和多模态 QA 任务上，该方法相较此前的黑盒不确定性估计器提升了平均弃答 AUROC。该工作发表于 EMNLP 2026 主会口头报告。
正文 · AI 翻译
摘要：可靠的不确定性估计是在安全关键场景中部署大语言模型（LLM）和视觉语言模型（VLM）的关键要求，尤其是在模型参数不可访问（黑盒）的情况下。我们提出 BiG-SURE，一种基于跨温度语义一致性的不确定性估计器。该方法在保持语义的输入变换下，采样低温响应作为稳定的语义锚点，采样高温响应作为探针。随后，它利用基于 NLI 的蕴含分数构建锚点-探针二分图（BiG），并通过该矩阵归一化平方谱能量定义置信度，其补集即为不确定性。这种基于二分图的语义不确定性与可靠性估计（SURE）分数衡量高温探针是否仍与模型稳定的低温信念在语义上保持一致。我们在多个模型系列上，于文本问答、多语言问答和多模态问答任务中评估 BiG-SURE。在这些实验中，BiG-SURE 相比先前的黑盒不确定性估计器提升了平均弃答 AUROC，同时保持简单、无监督，并适用于黑盒模型设置。
| 评论： | 22 页，9 张图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.30646 [cs.CL] |
| （或 arXiv:2608.30646v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.30646 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | EMNLP 2026 主会议（口头报告） |
提交历史
来自：Debarpan Bhattacharya [查看邮箱]
[v1]
2026 年 8 月 31 日星期一 11:48:34 UTC（10,221 KB）
[v2]
2026 年 9 月 1 日星期二 09:20:59 UTC（6,785 KB）
[v3]
2026 年 11 月 6 日星期五 10:57:23 UTC（6,785 KB）
来源：arXiv cs.CL · arxiv.org