arXiv cs.CL· Yimeng Zhang, Yingying Zhuang, Ziyi Wang, Yuxuan Lu, Pei Chen, Aman Gupta, Zhe Su, Ming Tan, Zhilin Zhang, Qun Liu, Manikandarajan Ramanathan, Rajashekar Maragoud, Edward Vul, Jing Huang, Dakuo Wang·· 10 小时前AI 评分33
SpanUQ：面向大语言模型生成的 Span 级不确定性量化
SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation
AI 导读
研究者提出 SpanUQ，一种轻量级探针，将多采样推理中的不确定性知识蒸馏到对 LLM 隐状态的单次前向传播中，实现 Span 级不确定性估计。该方法采用 DETR 风格 span 解码器与 Beta 混合分布，在五个 LLM 主干上取得最佳 span 级不确定性质量，比最强探针基线和所有采样方法快 10~20 倍，span 检测器 F1 达 0.910。
正文 · AI 翻译
作者：Yimeng Zhang、Yingying Zhuang、Ziyi Wang、Yuxuan Lu、Pei Chen、Aman Gupta、Zhe Su、Ming Tan、Zhilin Zhang、Qun Liu、Manikandarajan Ramanathan、Rajashekar Maragoud、Edward Vul、Jing Huang、Dakuo Wang
摘要：不确定性估计对于 LLM 的可信部署至关重要：它支撑自我精炼，并作为下游系统（从验证器到协作智能体）的决策信号。然而，现有方法在次优的粒度上运作：token 级分数缺乏语义连贯性，而序列级分数无法定位错误。我们形式化了跨度级不确定性估计（SLUE），这是一项新任务，针对不确定性的自然粒度：语义连贯的文本跨度，每个跨度传达一个可评估的意义单元。为解决该任务，我们引入了 SPANUQ，一种轻量级探针，它将来自昂贵多样本推理的不确定性知识蒸馏到对 LLM 隐藏状态的单次前向传播中。SPANUQ 采用 DETR 风格的跨度解码器，同时检测跨度并通过 Beta 分布混合估计其不确定性，训练时采用 Beta NLL 回归与对比排序目标的原则性组合。我们构建了 SPANUQ-BENCH，这是首个跨度级不确定性基准，包含 20K 提示、293K 标注跨度和源自多样本声明验证的连续软标签。在五个 LLM 主干上的实验表明，SPANUQ 始终实现最佳的跨度级不确定性质量，优于最强的探针基线和所有基于采样的方法，同时快 10~20 倍。其基于 DETR 的跨度检测器达到 0.910 F1，比最佳启发式方法高出 39.4%，实现了序列级方法无法提供的精确错误定位。同一架构可移植到跨越两个模型家族的五个 LLM，每个主干训练一个探针，我们还额外观察到序列级不确定性是部分可分解的，表明跨度级估计将序列级作为特例包含在内。项目页面见 此 http URL。
| 评论： | 被 NeurIPS 2026 接收。项目页面见 此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.05721 [cs.CL] |
| （或 arXiv:2607.05721v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05721 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yimeng Zhang [查看邮箱]
[v1]
2026 年 7 月 7 日星期二 01:09:46 UTC（57 KB）
[v2]
2026 年 9 月 29 日星期二 19:55:12 UTC（67 KB）
[v3]
2026 年 11 月 4 日星期三 07:01:50 UTC（68 KB）
来源：arXiv cs.CL · arxiv.org