arXiv cs.CL· Brian Xiao, Sarah Wilson·· 3 天前AI 评分22
Readout Scaling 如何影响稀疏自编码器的特征恢复
Readout Scaling Shapes Sparse Feature Recovery
AI 导读
研究提出 readout-canonicalized decision-space（RC-DS）坐标方法，在去除奇异值增益的同时保留决策信息，用于研究 readout scaling 对稀疏自编码器（SAE）学习的影响。
正文 · AI 翻译
摘要：读出缩放会改变稀疏自编码器（SAE）所学到的内容，但去除它的收益取决于数据。我们使用读出规范化决策空间（RC-DS）坐标来消除奇异值增益，同时保留所保留的决策信息。在固定的读出条件数下，改变生成分布会逆转哪些训练坐标能最好地恢复已知因子。在我们的受控坐标匹配研究中，当训练恢复了因子生成时所处的空间时，恢复效果最佳。当因子在读出缩放之前生成时，在条件数为 100 的情况下，与相同预算下的中心化 logit 训练相比，RC-DS 将平均稀疏因子恢复率从 0.506 提高到 0.913。一个精确的包装器以数值精度复现 RC-DS 训练，从而隔离出训练几何结构而非额外信息。在神经策略中，RC-DS 在测试预算下改善了平均 logit 重建。在三个固定的语言模型检查点上，RC-DS 在所有 18 个测试的任务稀疏度设置中都具有更高的平均无增益重建，而中心化 logit SAE 在 17 个设置中更好地重建输出 logit。小标签头对照表明，更长的训练将重建差距从 0.0198 缩小到 0.0016。总之，这些结果展示了读出缩放、数据分布和训练如何塑造稀疏学习。RC-DS 提供了一种保持信息的方法，用于研究和控制读出的贡献。单独的标签检测和引导测试将这些重建效应与任务特定特征的有用性区分开来。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18462 [cs.LG] |
| （或 arXiv:2610.18462v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18462 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sarah Wilson [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 14:28:22 UTC（359 KB）
[v2]
2026 年 10 月 14 日星期三 16:27:58 UTC（359 KB）
来源：arXiv cs.CL · arxiv.org