arXiv cs.CL· Tobias Braun, Nils Loose, Alexander Herzog, Virginia Ceccatelli, Marcus Rohrbach, Thomas Eisenbarth, Lorenzo Cavallaro·· 10 天前AI 评分30
U-Space：揭示语言模型不确定性何时出现、为何出现
U-Space: Uncovering When and Why Uncertainty Arises in Language Models
AI 导读
研究者提出 U-Space，一个低维子空间，可将语言模型推理过程中不断变化的不确定性变得可测量、可解释。该方法通过定位"怀疑"与"确定"的语义锚点，将其 unembedding 方向映射回残差空间并组合成正交基，再用 U-Lens 把每个 token 状态投影到这些基向量上，生成 token 级不确定性图，可聚合成标量置信度分数。
正文 · AI 翻译
摘要：大语言模型正在为风险日益重大的决策提供依据。随着其错误后果的加剧，一个核心问题变得愈发难以忽视：我们能在多大程度上信任单个回答？然而，识别何时应当存疑仍然困难，因为语言模型能够以流畅的解释和权威的语气呈现错误的结论。不确定性量化试图通过估计单个预测的可靠性来解决这一脱节。然而，许多现有方法需要重复生成或单独训练的组件，而且它们的标量估计无法揭示不确定性从何而来，也无法揭示其在推理过程中如何演变。近期研究还表明，生成长度可能与不确定性估计和正确性密切相关，这引出了一个问题：估计器的预测能力有多少来自不确定性特有的信息，而非仅仅来自输出长度。机制可解释性提供了一种解决这些局限的途径，它将人类可解释的概念与模型的中间状态联系起来。基于这一能力，我们引入了 U-Space，一个低维子空间，使模型不断演变的不确定性变得可测量且可解释。我们识别出怀疑与确信的语义锚点，将其反嵌入方向映射回残差空间，并将它们的对比组合成一个正交基。U-Lens 将每个 token 状态投影到这些基向量上，产生一个可解释的 token 级不确定性图，既可直接检查，也可聚合为标量不确定性分数。我们的方法不需要正确性标签、重复生成或训练。在推理基准上，其置信度分数在标准评估和长度控制评估下均优于既有基线，并且比监督式估计器迁移得更可靠。代码：this https URL。
| 评论： | 代码：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09087 [cs.CL] |
| （或 arXiv:2610.09087v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09087 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Tobias Braun [查看邮箱]
[v1]
2026年10月6日星期二 20:40:29 UTC（1,309 KB）
来源：arXiv cs.CL · arxiv.org