研究称 TopK SAE 归因图由特征 margin 决定

Karl Li 提交论文，提出 margin graph 方法，认为稀疏自编码器（SAE）的归因图由特征 margin 决定，即预激活值到截断阈值的距离。 论文称，在三个 Pythia 模型的五组公开 TopK SAE 对上，将单个特征置零有 0.74 以上概率使下一层特征越过截断阈值，且这些跨越承载了响应的大部分能量。论文还称，margin graph 以相同成本为每个预激活值加入一阶变化并重新排序，误差至多 0.033。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。