arXiv cs.AI· Xiaoyu Liang, Virginia Ceccatelli, Aliai Eusebi, Tobias Braun, Nils Loose, Carlo Malagnino, Lorenzo Cavallaro·· 1 天前AI 评分31
LLM 的不确定性量化在哪里被观测？基于机制可解释性的四重视角分析
Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs
AI 导读
研究提出用机制可解释性回答 LLM 不确定性量化（UQ）的观测位置问题，定义结构、表征、分布、语义四种观测视角，分别对应组件更新、隐藏状态、token 概率和语义分布。四者通过残差流关联并按所携带信息量排序，为不同目标选择 UQ 方法提供原则，并据此综述现有方法、区分评估目标与指标。
正文 · AI 翻译
摘要：了解何时可以信任大型语言模型（LLM）的响应，对其安全使用至关重要。不确定性量化（UQ）可以帮助 LLM 识别其响应是否可能不可靠。现有的分类体系按不确定性来源或估计机制来组织 UQ 方法。它们仍未解决一个问题：在模型的计算过程中，不确定性在何处被观察到。答案很重要，因为观察点决定了估计器是否有足够的信息来恢复给定目标，以及它能多好地恢复该目标。借鉴机制可解释性，我们定义了四种机制观察视角：结构视角观察组件更新，表示视角观察隐藏状态，分布视角观察 token 概率，语义视角观察语义上的分布。我们通过残差流将这些视角联系起来，并按它们所携带的信息进行排序，这为针对不同目标选择 UQ 方法提供了原则。我们通过这四个视角综述了现有方法。此外，我们区分了评估目标、标准和指标，以厘清不同的 UQ 评估协议。最后，我们指出了开放问题和研究方向，以将不确定性估计与 LLM 的内部计算及下游使用联系起来。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.15735 [cs.CL] |
| （或 arXiv:2611.15735v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15735 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiaoyu Liang [查看电子邮件]
[v1]
2026年11月11日星期三 17:14:57 UTC（1,863 KB）
来源：arXiv cs.AI · arxiv.org