arXiv cs.AI· Pranjal Garg·· 10 天前AI 评分30
可解释性探针的 0.6 有多高？下限、上限与余量分析
How High Is 0.6? Floors, Ceilings, and Headroom in Interpretability Probing
AI 导读
研究提出用"下限"（简单输入已能预测的部分）和"上限"（完整输入可预测的部分）两个参照点来解读探针分数，两者之间的"余量"才是模型真正额外计算的范围。在上下文元分析 Transformer 上，分布偏移下探针分数下降、预测误差上升 12–15 倍，但模型恢复的余量比例相近，说明是数据丢失信息而非表征失效。
正文 · AI 翻译
摘要：探针是可解释性研究的主力工具。如果模型的隐藏状态能预测某个变量，就称该模型表示了这个变量。但探针得分本身没有固定含义。$R^2$ 为 0.6 可能只反映了输入本身已经透露的信息，而相同的得分在不同数据上可能意味着不同的事情。我们提出，应将每个探针得分对照两个参考点来解读：下限，即一组已声明的简单输入所能预测的内容；上限，即完整输入所能预测的内容。二者之间的差距，即余量，是探针能够表明模型计算了超出简单输入之外的东西的范围。我们证明，余量会以两种方式消失：目标不再依赖于模型必须推断的隐藏变量，或者输入不再揭示该变量。我们在为上下文元分析训练的 transformer 上测试了这一点，这类模型必须推断研究之间的隐藏异质性才能正确加权，且两个参考点都是已知的。在分布偏移下，探针得分下降，预测误差上升 $12$--$15\times$，但模型仍恢复了相似比例的余量，这表明是数据丢失了信息，而非表示。随后我们分析了真实模型。单细胞基础模型 scGPT 仅部分编码了生物变异性。我们还重新审视了四项有影响力的 LLM 探针研究，它们声称模型表示了地理、黑白棋棋盘状态、真理性以及用户的人口统计特征。对照仅由输入文本计算出的下限，其中一些主张成立，而另一些则很大程度上可由文本本身解释。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.08544 [cs.CL] |
| （或 arXiv:2610.08544v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08544 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
发件人：Pranjal Garg [查看电子邮件]
[v1]
2026年10月6日星期二 15:32:25 UTC（1,020 KB）
来源：arXiv cs.AI · arxiv.org