arXiv cs.CL· Karl Li·· 10 小时前AI 评分31
稀疏自编码器归因图由 margin 决定
Sparse Autoencoder Attribution Graphs Are Decided at the Margin
AI 导读
研究发现 TopK SAE 的归因图由特征 margin（预激活值到截断阈值的距离）决定：在三个 Pythia 模型的五组公开 TopK SAE 对上，将单个特征置零有 0.74 以上概率使下一层特征越过截断阈值，且这些跨越承载了响应的大部分能量。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）特征上的归因图被用于预测消融的效果，并在不同训练种子之间进行比较。TopK SAE 在每个 token 上保留最大的预激活值，而某个特征的 margin 是其预激活值到截断阈值的距离。在来自三个 Pythia 模型的五对公开 TopK SAE 上，将一个特征置零会使下一层特征越过截断阈值的情况占 0.74 或更多，且这些越界承载了响应的大部分能量。对于将某特征的编码按三个因子缩放的写入操作，基于此前活跃特征构建的图的中位相对误差为 0.247 或更大。margin 图以相同代价为每个预激活值加上一阶变化并重新排序，误差至多为 0.033。在中位数处，越界特征解码后的变化在范数上是模型自身变化的 1.24 倍或更多。在同一测试台的不同种子之间，特征之间的稀疏映射解释了某个图在其活跃特征上 0.85 的能量，而当另一个种子的图只保留自身特征时则为 0.47。所研究的最大的模型是 pythia-160m。
| 评论： | 34 页，8 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00606 [cs.LG] |
| （或 arXiv:2611.00606v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00606 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Karl Li [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 04:03:14 UTC（199 KB）
来源：arXiv cs.CL · arxiv.org