arXiv cs.CL· Ayal Klein·· 11 小时前AI 评分22
可解码性不等于有效性：评估语言模型概念探针的干扰敏感性
Decodability Is Not Validity: Evaluating Nuisance Sensitivity in Language Model Concept Probes
AI 导读
两个概念探针在预测语言模型隐藏状态中的概念时准确率相当，但分数中目标概念与相关干扰属性的混合程度可能相差数倍。研究在 CEBaB、BiasBios 及亚马逊评论情感等四种目标-干扰设定、两个 LLM 上对比可解码性与判别证据，发现三者中有三种设定下留出 AUROC 统计等价的提取器其干扰敏感性相差可达数倍，且可解码性并非可靠代理指标。
正文 · AI 翻译
摘要：两个概念探针在从语言模型的隐藏状态预测某个概念时可以同样准确，而它们的分数却包含目标概念与一个相关干扰属性的不同混合。在四种目标—干扰设定下（CEBaB 中的两种方面情感；BiasBios 中的职业与性别；带否定的亚马逊评论情感，以及带第一人称框架的亚马逊评论情感），使用两个 LLM 和一组概念提取器，我们将可解码性与判别证据进行比较：在固定目标时分数对干扰的依赖程度，以及分数对旨在仅改变干扰的输入编辑的响应，这些编辑经过两个 LLM 评判员过滤，并与安慰剂编辑进行比较。在相关训练数据下，在留出 AUROC 上统计等价的提取器在四种设定中的三种里，其干扰敏感度相差可达数倍，而可解码性并不是它的可靠代理：它们的秩相关在不同设定间改变符号。该效应跟随探针的训练数据，而不是干扰与目标的自然关联：第一人称框架在自然评论中与情感无关，却至少与否定（否定与负面情感共现）被吸收得一样多，而去相关训练消除了系统性效应。使用具备干扰感知的开发诊断（需要干扰标签但不需要反事实）来选择提取器，可以在默认选择敏感的地方降低反事实干扰敏感度，代价是轻微的准确率损失。概念测量应当被验证，而不仅仅是解码。
| 评论： | 4 页 + 附录；代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.07805 [cs.CL] |
| （或 arXiv:2611.07805v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07805 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ayal Klein [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:47:17 UTC（158 KB）
来源：arXiv cs.CL · arxiv.org