研究校准 SAE 训练激活缓存压缩评测

Abraham Yeung 提交论文，研究激活缓存压缩对 SAE 训练的影响，并据此校准评测方法。其做法是用冻结 SAE 测试与重训练测试分别评估压缩后特征的变化，并以相同字节重训练作为上限、更换随机种子作为下限来建立参照。 研究发现，重训练后保留特征的比例没有清晰尺度：在 GPT-2 缓存上，fp16 舍入保留 60.6% 的特征；而 fp32 下仅改动一个百万分之一的值（最小步长）就只保留 70.5%；换随机种子则保留 23.0%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。