arXiv cs.AI· Nathan Delisle, Chenhao Tan·· 10 小时前AI 评分31
大规模激活干扰稀疏自编码器评估，研究者提出 PC1 去除修正法
Massive Activations Confound Sparse Autoencoders
AI 导读
稀疏自编码器（SAE）的方差解释率与消融损伤两项常用评估指标会被大规模激活干扰：最多 99.9% 的激活方差集中在第一主成分（PC1）上，而 PC1 没有唯一的稀疏分解，导致每次 SAE 训练重建出的特征不同。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）通常通过解释方差和消融损伤来评估。我们展示了大规模激活如何削弱这两种评估，并提出了一种修正方法。大规模激活导致高达 99.9% 的激活方差位于第一主成分（PC1）上。由于 PC1 分量没有唯一的稀疏分解，每次 SAE 运行都会从不同的特征集合中重建它。这些特征主导了重要性排名：在 50 个最重要的特征中，平均有 47 个在另一次运行中无法匹配，而随机选取的 50 个特征中约有 27 个无法匹配。一个字典也可以报告解释了 99.96% 的方差，同时却让 PC1 之外的 33% 方差未被解释。我们通过移除 PC1 后的激活来训练 SAE，再将 PC1 加回重建结果，从而绕过 PC1。在受影响的模型中，前 50 个特征的重合率从 4-39.5% 提升至 73-99.5%。在相同的 TopK 稀疏度下，所得 SAE 对模型的退化最多减少 44%，内容重建误差最多降低 33.9%。
| 评论： | 已被 NeurIPS 2026 接收（海报）。代码：此 https URL。SAE：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13548 [cs.LG] |
| （或 arXiv:2611.13548v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13548 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nathan Delisle [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 04:08:55 UTC（320 KB）
来源：arXiv cs.AI · arxiv.org