arXiv cs.AI· Celeste De Schamphelaere, Juan J. Vazquez, Ari Spiesberger, Tom\'a\v{s} Gaven\v{c}iak, Gavin Leech, Euan Ong, Jiahai Feng·· 11 小时前AI 评分39
通过扩展激活反演解释任意残差流方向：MAEM 元模型
Towards interpreting any residual stream direction by scaling activation inversion
AI 导读
研究者提出 Maximally-Activating Example Metamodels（MAEMs），将语言模型残差流方向映射为能强烈激活该方向的文本样例，并用无标签 RL 目标最大化生成文本激活与给定方向的余弦相似度。
正文 · AI 翻译
摘要：要解释语言模型残差流中的某个方向，我们可以寻找能强烈激活它的文本。但当这类文本是通过扫描语料库找到时，它就受限于该语料库所包含的内容。我们开发了最大激活示例元模型（MAEMs），这是一种语言模型，可将主体模型的残差流方向映射到能强烈激活这些方向的文本示例。我们的目标是最大化给定残差流方向与 MAEM 生成文本的激活之间的余弦相似度。这一无标签强化学习目标有助于在多样化的残差流方向来源上扩展 MAEM。在实证中，我们发现所得的元模型能产生有信息量的示例：一个 Qwen3.6-27B MAEM 在反转留出激活方面优于语料库搜索或自然语言自编码器（NLA），在大多数留出语言/领域上优于语料库搜索（1000 万 token），并激活了 89% 的留出 SAE 特征。它识别引导向量背后概念的能力与 NLA 大致相当，比语料库搜索更频繁地恢复 LoRA 后门载荷，甚至能将某些模型工作区的内心独白言语化。与其他元模型（如 NLA）生成的解释不同，MAEM 示例可以通过对主体模型进行一次前向传播来验证，这使得 MAEM 目标成为扩展元模型训练的一种有依据的替代方案。
| 评论： | Euan Ong 和 Jiahai Feng 同等指导 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08465 [cs.LG] |
| （或 arXiv:2611.08465v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08465 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Juan J Vazquez [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 18:54:40 UTC（428 KB）
来源：arXiv cs.AI · arxiv.org