跳到正文
arXiv cs.AI· Sida Liu, Feijiang Han, Sarah Wiegreffe, Furong Huang·· 4 小时前AI 评分38

ICA Lens:非高斯性揭示语言模型中的可解释方向

ICA Lens: Non-Gaussianity Reveals Interpretable Directions in Language Models

AI 导读

研究者提出 ICA Lens,直接在 LLM 残差流激活空间中搜索非高斯方向来发现可解释特征,无需训练稀疏字典。在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上,恢复的方向捕获了连贯的词汇、句法和语义模式,非高斯性与人类标签置信度及自动可解释性正相关。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在语言模型激活中寻找人类可解释的方向,对于理解和控制模型行为十分重要。这些方向通常通过稀疏重建等间接学习目标来发现,但现有统计结构中究竟是什么区分了可解释方向,以及这种结构能否直接用于特征发现,仍不清楚。我们发现非高斯性提供了这样一种特征:自然文本残差流激活沿稀疏自编码器(SAE)解码器方向的投影分布,比沿随机方向的投影分布显著更具非高斯性,其中大多数上下文形成一个集中的背景,而反复出现的模式往往占据一个尾部。这引出一个自然的问题:如果可解释方向倾向于具有非高斯投影分布,我们能否通过在激活空间中直接搜索非高斯方向来发现它们,而无需训练另一个稀疏字典?为检验这一假设,我们提出了 ICA Lens,一个用于在 LLM 残差流激活中高效发现、可靠标注和忠实评估非高斯方向的实用工作流。在 GPT-2 Small、Gemma 2 2B 和 Qwen 3.5 9B Base 上,我们发现:(1)恢复出的非高斯方向在人工评估和基于 LLM 的评估下都能捕捉到连贯的词汇、句法和语义模式;(2)非高斯性与人工标签置信度和自动化可解释性均呈正相关;(3)所得坐标在可解释性、稀疏重建、概念预测和因果干预方面与 SAE 具有竞争力,同时每层只需数分钟即可拟合,内存占用少 7-43 倍。这些结果表明,非高斯性是一种直接的无监督信号,可用于发现激活中可解释且有用的结构。
评论: 新增实验并改进了表述
主题: 机器学习(cs.LG);人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2606.11722 [cs.LG]
  (或本版本的 arXiv:2606.11722v3 [cs.LG])
  https://doi.org/10.48550/arXiv.2606.11722

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Feijiang Han [查看邮箱]
[v1] 2026年6月10日星期三 06:53:58 UTC(2,296 KB)
[v2] 2026年10月19日星期一 17:23:26 UTC(6,395 KB)
[v3] 2026年11月17日星期二 04:23:38 UTC(7,693 KB)

来源:arXiv cs.AI · arxiv.org