U-Space：揭示语言模型中的不确定性何时出现、为何出现
U-Space: Uncovering When and Why Uncertainty Arises in Language Models
研究者提出 U-Space，通过 J-Lens 将语言模型内部状态翻译为词，再用四组"怀疑词"与"确定词"的对比方向构建出四类不确定性，并据此给出 U-Lens 评分。该评分只需一次推理即可预测答案是否出错，在四个高难度基准上优于十次采样的方法，且无需训练、无需人工标注。U-Space 还能指出答案偏向哪类怀疑，帮助人工复核定位问题。
探索
自己探索答案
我们向模型提出了三个问题。选择一个，然后点击其答案中的任意一个词：此页面背后的场景会跳转到该词，下方的数字显示模型内部状态在那一刻的表述。这里没有任何内容是手动放置的；全部都是从模型中读取的。
词·
倾向于·
锥体对齐·
下一词元熵·
此词处的 U-Lens·
四个角落
不确定性的四个来源，由词语构建
我们如何知道哪个角落对应哪个？从词语中得知。我们收集了模型在不确定时使用的词语，将它们分为四组，并将每组与模型在确定时使用的词语进行对比。无需手动标注任何示例。
实心芯片是一些怀疑锚点；虚线芯片是与之对比的一些确定性极点。完整列表在仓库的 data/uspace_terms.yaml 中。
工作原理
从模型的内部运作到信任信号
1
读取模型的内部
当语言模型写作时，网络的每一层都持有一长串数字：其内部状态。单独来看，这串数字是无法解读的。一个名为 J-Lens 的近期工具可以翻译它：对于任何一层，它都会告诉你该状态正将模型推向哪些词语。这使得模型的内部成为人可以阅读的内容，也是我们构建的基础。
2
将怀疑之词转化为方向
使用相同的翻译反向操作，我们从四组中取出怀疑之词，并找到模型中与它们对应的方向，每个方向都相对于确定性之词进行测量。四个方向，每种怀疑一个：这就是 U-Space。构建它无需训练，也不需要正确答案。
3
跟随每一个词
对于模型写出的每个词，我们测量其内部状态沿四个方向各自的倾斜程度。这四个量将该词置于金字塔内。它整体的倾斜强度告诉我们该词处有多少怀疑。这就是 U-Lens：你在页面顶部飞过的路径。
4
每个答案一个数字，并附原因
当模型完成推理后，我们将其状态向怀疑倾斜的强度与其词选择的分散程度相结合。这为整个答案给出一个分数：越高意味着越可能出错。路径所偏向的角落说明了这是哪种怀疑。所有这些都来自产生该答案的单次前向传播。
给技术爱好者的公式
lensl(h) = unembed( Jl · h ), Jl = E[ ∂hfinal / ∂hl ] （雅可比透镜）
Acone = ‖ softplus( √d · ẑ ) ‖, ẑ = UT ν(h) / ‖UT ν(h)‖ （单个词元处的锥体对齐）
U-Lens = Acone(思考结束) × 轨迹上的平均下一词元熵
U 是通过透镜拉回的四组怀疑减确定性对比的正交化基；ν 对残差状态进行归一化。完整细节和消融实验在论文中。
它有效吗
比十个样本更好，代价却只有一个
我们向三个开放模型提出了来自四个困难基准的数千个问题，并检查了每个答案。然后我们要求每种方法找出错误答案。评分是此类任务常用的：0.5 表示猜测，1.0 表示完美。“长度匹配”仅比较相同长度的答案，这消除了我们下面解释的一个技巧。
在实践中
决定哪些可以信任，哪些要交给专家
以下是来自同一个基准测试的所有答案，按照 U-Lens 从最不可疑到最可疑的顺序排列。青绿色的答案是正确的，粉色的答案是错误的。拖动滑块来选择你会把多少个最可疑的答案发送给人类专家，看看这样能带来什么。这些是论文中的真实分数。
·准确率，全部接受
·已接受答案的准确率
·错误答案中被推迟处理的比例
·此单元格中的答案数
而 U-Space 会告诉审核者从哪里入手：对于每一个移交的答案，它倾向于哪个角落，这样他们就知道该去寻找缺失的事实、重新解读问题，还是查找来源之间的冲突。
来源：Hacker News · s2lab.org