arXiv cs.CL· Abraham Yeung·· 10 小时前AI 评分31
激活缓存压缩能压到多小？为 SAE 训练校准压缩方案
How Small Can We Go? Calibrating Activation-Cache Compression for SAE Training
AI 导读
研究用冻结-SAE 测试与重训练测试评估激活缓存压缩对 SAE 特征的影响，发现重训练后保留特征比例没有清晰尺度：GPT-2 缓存上 fp16 舍入保留 60.6% 特征，而 fp32 最小步长改动一个百万分之一的值仅保留 70.5%，换随机种子保留 23.0%。
正文 · AI 翻译
摘要：要训练稀疏自编码器（SAE），需要海量的模型激活缓存。我们从两个方面研究压缩对 SAE 的影响：保留原本以 fp32 训练的 SAE，将压缩后的缓存输入同一个 SAE，观察有多少特征激活保持不变（冻结 SAE 测试）；以及在压缩缓存上重新训练 SAE，观察原有特征还有多少仍然存在（重训练测试）。我们发现，在重训练测试中，保留特征的比例没有明确的尺度。在 GPT-2 缓存上，将所有值舍入到 fp16 可保留 60.6% 的特征，但将百万分之一的值按 fp32 允许的最小步长改动（变化小八个数量级）却只保留 70.5%。同时，更改随机种子可保留 23.0%。对于冻结 SAE 测试，冻结 SAE 与原始 SAE 的相关性按编解码器精度的顺序递增，但普通的 $L_2$ 距离给出的排序几乎相同。我们还观察到相同的冻结读数在不同位置对应不同的保留百分比。这引出了正确度量方法的问题。我们通过校准来构建一种度量：在相同字节上重训练设定上限，重新设置种子设定下限。然后，我们针对每个压缩编解码器在其自身位置的下限来衡量其效果。在研究规模的预算下，在 GPT-2 small 和 Pythia-1.4B 上使用 TopK SAE 时，在我们测试的所有位置，朴素的逐 token int4 丢失的特征都比重新设置种子更多，GPT-2 上的 PCA 和随机投影也是如此。在量化前对每个通道进行标准化，可在相同的原始文件大小下使 int4 在保留特征方面回到下限之上。在我们最小的预算下，bf16 前向传播（一些流水线用它来节省内存）丢失的特征略多于旋转 8 位存储。校准一个位置需要四次训练运行和两次评估。
| 评论： | 被 NeurIPS 2026 可解释性作为科学研讨会（InterpScience）接收，非存档。27 页，5 幅图，30 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08551 [cs.LG] |
| （或 arXiv:2611.08551v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08551 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Abraham Yeung [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:09:19 UTC（668 KB）
来源：arXiv cs.CL · arxiv.org