arXiv cs.CL· Nikita Koriagin, Nikita Balagansky, Daniil Gavrilov·· 11 小时前AI 评分31
SAE 训练数据的缩放定律：固定预算下激活缓冲区该多大
Scaling Laws for SAE Training Data
AI 导读
研究提出 SAE 训练数据的缩放定律：总训练预算固定时，激活缓冲区增大到质量平台期后，重复回放缓冲区与全程使用新激活效果几乎相当，继续增加唯一激活对重建和可解释性收益甚微。
正文 · AI 翻译
摘要：激活存储往往是稀疏自编码器（SAE）训练中的瓶颈。我们研究了在总训练预算固定的情况下，SAE 需要多少唯一激活。随着缓冲区增大，质量迅速提升，随后达到平台期，此时重放缓冲区几乎与在整个训练过程中使用新鲜激活一样有效。超过这一点后，额外的唯一激活对重建或可解释性几乎没有益处，因此缓冲区无需随训练预算增长。我们用有限数据的缩放定律描述了这种多样性与重复之间的权衡。我们在不同字典大小和 token 预算、Llama-3.1 的早期、中期和后期层、Qwen3 各模型规模，以及 BatchTopK、TopK 和 JumpReLU SAE 上验证了该定律。使用数学文本和 Python 代码进行的扫描测试了改变激活来源的影响。评估涵盖解释方差（EV）、重建 MSE、特征吸收、自动可解释性和稀疏探测。这些结果给出了一条实用的训练规则：选择能达到质量平台期的最小缓冲区，并在剩余预算中重放它。在我们的实验中，这将激活存储减少了 $8\text{--}64\times$，而质量损失可忽略不计。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07756 [cs.LG] |
| （或 arXiv:2611.07756v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07756 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nikita Balagansky [查看电子邮件]
[v1]
2026年11月5日星期四 10:00:55 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org