arXiv cs.CL· Roman Vashurin, Mikhail Seleznyov, Assel Yermekova, Fedor Chernogorskii, Danila Zykov, Elena Tutubalina, Alexander Panchenko, Preslav Nakov, Nikita Kotelevskii, Maxim Panov·· 11 小时前AI 评分31
面向规格感知的预测不确定性分解
Specification-Aware Predictive Uncertainty Decomposition
AI 导读
研究者提出一种三项式预测风险分解，将风险拆为规格不确定性、残余偶然不确定性与认知不确定性，其中规格不确定性衡量揭示用户未观测意图后贝叶斯风险的预期下降。实验显示，规格不确定性对检测欠明确输入最有效，残余偶然不确定性对检测分布内预测错误最有效。
正文 · AI 翻译
摘要：预测不确定性的经典分解（例如信息论分解）是针对输入对象的固定表示 $x$ 定义的。它们没有考虑 $x$ 可能是不完整的，也没有衡量缺失信息会对预测产生多大影响。在大语言模型中，用户无需任何重新训练即可澄清一个描述不充分的输入。澄清后的输入可以更准确地描述用户未观测到的意图 $z^*$，并改变关于结果的预测不确定性。在本文中，我们以概率方式形式化了这一设定，并推导出预测风险的三项分解：规格不确定性、残余偶然不确定性和认知不确定性。我们表明，在原始信息层面，即只有 $x$ 可用时，由贝叶斯风险表示的偶然不确定性有两个组成部分。第一个我们称为规格不确定性，即揭示意图后该贝叶斯风险的预期降低量。第二个是残余偶然不确定性，即在给定 $x$ 时意图的可能取值 $z$ 上取平均后，一旦意图已知仍然残留的贝叶斯风险。这一区分很重要，因为规格不确定性为在做出预测之前请求澄清的决策提供信息。我们构建了这些组成部分的近似，并将它们与现有的不确定性度量联系起来。我们在不同领域和模态上的实验表明，这三个组成部分具有不同的作用。规格不确定性对于检测描述不充分的输入最具信息量，而残余偶然不确定性对于检测分布内预测错误最具信息量。
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02956 [stat.ML] |
| （或 arXiv:2611.02956v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02956 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Roman Vashurin [查看电子邮件]
[v1]
2026年11月2日星期一 11:23:22 UTC（40,276 KB）
来源：arXiv cs.CL · arxiv.org