arXiv cs.CL· Jonathan Drechsel, Steffen Herbold·· 10 小时前AI 评分31
语言模型定向特征学习:干预用梯度、检测用激活值
Gradients for Interventions and Activation Values for Detection: Targeted Feature Learning in Language Models
AI 导读
研究将定向特征学习定义为为预设概念构建单一特征,在 15 项任务和 10 个语言模型上对比激活值、激活梯度、参数梯度三种模型信号与对比均值、学习式一维编码器-解码器两种估计器组合出的六种方法(含 CAA、GRADIEND 及四个新方法)与预训练 SAE。
正文 · AI 翻译
摘要:模型内部特征可以通过其识别指定概念的能力以及被操纵(例如通过引导或权重编辑)时的因果效应来研究。特征学习的一种重要方法是稀疏自编码器(SAEs),它学习宽泛的特征字典,而这些字典与特定概念的关系通常是在事后识别的。然而,许多可解释性问题实际上是假设驱动的,并且关注预先指定的概念。我们将这一设定作为定向特征学习来研究,即为这样一个预定义概念构建单个特征。我们对三种模型信号(激活值、激活梯度和参数梯度)和两种估计器(对比均值和学习到的一维编码器-解码器)进行了受控比较,得到六种定向方法,其中 CAA 和 GRADIEND 是现有实例,另外四种新方法覆盖了其余组合。我们在 15 个任务和十个语言模型上将这些方法与预训练的 SAEs 进行比较,评估检测和因果干预。跨模型来看,最强的检测性能由对比激活值方法取得,而最强的干预性能由梯度信号取得,其中对比均值最强。值得注意的是,在对比均值家族中,激活梯度显著改善了干预效果,优于激活值,且无需参数空间干预。总体而言,我们的结果表明,定向特征质量共同取决于模型信号和估计器,检测和干预捕捉的是互补的性质。
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2609.32355 [cs.CL] |
| (或 arXiv:2609.32355v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.32355 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jonathan Drechsel [查看电子邮件]
[v1]
2026年9月26日星期六 08:22:46 UTC(904 KB)
[v2]
2026年11月19日星期四 10:43:27 UTC(1,153 KB)
来源:arXiv cs.CL · arxiv.org