arXiv cs.CL· Haotian Ma, Ziye Mei, Frederic Sala·· 2 天前AI 评分24
稀疏自编码器表征的行为组合性研究：SAE Additivity Residuals 方法
Behavioral Compositionality of Sparse Autoencoder Representations
AI 导读
研究者提出 SAE Additivity Residuals（SAR），用于衡量稀疏自编码器特征在选定交互阶数之上未被解释的行为变化。在 18 组模型与行为设置中，学习到的 SAE 坐标一阶残差均低于保持和不变的随机旋转；但坐标并非完全可加，成对项在所有设置中均改善留出联盟排序。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）以稀疏的线性解码特征表示模型激活，但这些特征的下游效应未必以加性方式组合。我们引入 SAE 加性残差（SAR），用于衡量在选定交互阶数之上仍未被解释的行为变异。在独立特征子集采样下，总体 SAR 恰好等于高于该阶数的交互的归一化能量，并为最优低阶近似给出了联盟排序误差的界。为了区分与 SAE 表示相关的组合性与由下游计算诱导的组合性，我们将学习到的 SAE 坐标与同一选定子空间的保和随机旋转进行比较，发现在全部 18 种模型与行为设置中，学习到的坐标都具有更低的一阶残差。然而这些坐标并非完全可加：成对项在每种设置中都改善了留出联盟排序，并且优于使用随机选取的三阶项的参数匹配模型。在一项联合引导实验中，成对建模将排序保真度从 0.5874 提升至 0.7790，并将排序误差从 0.1444 降至 0.0606。这些结果共同表明，SAE 坐标支持相对更具组合性的行为描述，而忠实的联合解释与干预仍然需要超越单个特征效应的交互。代码见 此 https URL。
| 评论： | 29 页，9 幅图。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21261 [cs.LG] |
| （或 arXiv:2610.21261v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21261 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziye Mei [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 04:58:23 UTC（165 KB）
来源：arXiv cs.CL · arxiv.org