SAE训练数据缩放律研究

Nikita Koriagin 等作者发表 SAE 训练数据的缩放定律研究，称在总训练预算固定时，激活缓冲区增大到质量平台期后，重复回放缓冲区与全程使用新激活的效果几乎相当，继续增加唯一激活对重建和可解释性的收益甚微。 该结论针对固定预算下的激活缓冲区规模与数据多样性、重复之间的权衡，作者用缩放定律描述这一取舍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。