arXiv cs.AI· Jinho Choi, Hyesu Lim, Jaegul Choo, Steffen Schneider·· 11 小时前AI 评分29
超越 SAE：ConSDL 用稀疏编码实现一致的概念发现
Beyond SAEs: Consistent Concept Discovery with Sparse Coding
AI 导读
研究者提出 Consistent Sparse Dictionary Learning（ConSDL），用逐样本稀疏编码替代标准线性编码器，以解决 SAE 学到的字典在不同训练轮次间不一致的问题。在 16 个合成设置中，ConSDL 实现近乎完美的字典与系数恢复；在四个视觉和语言设置上，其字典一致性和系数一致性分别比六个 SAE 基线平均值提升 17.6% 和 35.9%。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）通过将激活分解为学习到的字典原子的稀疏组合来解释基础模型的表示。然而，学习到的字典在不同训练运行之间可能有所不同，限制了基于 SAE 的分析的可靠性和可复现性。我们提出了 Consistent Sparse Dictionary Learning（ConSDL），它用逐样本稀疏编码替代标准线性编码器。这一做法的动机来自我们的合成分析：与通过逐样本优化获得的系数相比，单次线性编码器前向传播得到的系数是次优的，这表明稀疏编码是字典学习的一种可靠机制。在 16 个合成设置中，ConSDL 实现了近乎完美的字典和系数恢复。这些收益转化为四个视觉和语言设置中达到最先进的跨种子一致性，其中 ConSDL 相比六个 SAE 基线的平均值，将字典一致性和系数一致性分别提高了 17.6% 和 35.9%。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23801 [cs.AI] |
| （或 arXiv:2610.23801v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23801 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinho Choi [查看电子邮件]
[v1]
2026年10月16日星期五 17:25:11 UTC（11,913 KB）
来源：arXiv cs.AI · arxiv.org