跳到正文
arXiv cs.AI· Naiyu Yin, Maosen Tang, Alex Townsend, Yue Yu·· 10 小时前AI 评分31

Rational Sparse Autoencoder:用可训练有理函数替代固定激活的稀疏自编码器

Rational Sparse Autoencoder

AI 导读

研究者提出 Rational Sparse Autoencoder(RSAE),用可训练有理函数替代 ReLU、JumpReLU、TopK 等固定编码器非线性,并证明在同等期望稀疏度下重建效果不劣于 ReLU。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:稀疏自编码器(SAE)是机制可解释性的标准工具,但当前的 SAE 系列受限于固定的编码器非线性,如 ReLU、JumpReLU 和 TopK。这会将特定的稀疏机制硬编码到模型中,并可能扭曲重建与稀疏性之间的权衡。我们引入了有理稀疏自编码器(RSAE),它用可训练的有理函数替代固定的编码器激活。该设计源于我们证明的 RSAE 在匹配期望稀疏性下的重建优势,保证不劣于 ReLU,并在所述假设下可证明优于 JumpReLU 和 TopK。该模型通过两阶段流程实现:初始化过程复制预训练的基线 SAE 权重并校准尺度参数及有理系数;随后在稀疏正则化的重建目标下进行微调,将 $\ell_0$ 保持在教师模型的值。与该理论一致,在三个开放权重语言模型的残差流激活上,并在所有三个基线激活系列中,RSAE 在微调步骤后于相同稀疏性水平下提高了重建保真度。这些增益在宿主语言模型、基线激活系列以及我们测试的整个基线稀疏性范围内均保持一致,而升级本身每个自编码器仅增加 20 个标量参数,一次训练在单个消费级 GPU 上约需 4 到 25 分钟。
评论: v2:M. Tang 和 A. Townsend 增列为共同作者;新的理论分析(第 3 节,附录 A);修订的算法(第 4 节,附录 B.1);增强的实验(第 5 节,附录 B);v1 由 N. Yin 和 Y. Yu 完成
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2606.14990 [cs.LG]
  (或 arXiv:2606.14990v4 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.14990

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Naiyu Yin [查看邮箱]
[v1] 2026年6月12日星期五 22:22:40 UTC(116 KB)
[v2] 2026年6月16日星期二 02:02:24 UTC(116 KB)
[v3] 2026年11月18日星期三 01:34:25 UTC(105 KB)
[v4] 2026年11月19日星期四 01:50:26 UTC(105 KB)

来源:arXiv cs.AI · arxiv.org