arXiv cs.CL· Riteng Zhang, Xiaoqian Wang·· 12 小时前AI 评分31
重新审视 SAE 评估：原子可解释单元框架揭示隐藏的多义性与冗余
Rethinking SAE Evaluation: An Atomic Interpretable Unit Framework Reveals Hidden Polysemanticity and Redundancy
AI 导读
研究提出 SAE 评估新范式，要求特征构成“原子可解释单元基”，并将 DAME（Dominance-Aware Monosemanticity Evaluation）等指标组织为代理度量。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）最初的动机是发现单义特征，这一性质刻画的是单个特征，但并未规定学习到的特征集整体应当呈现何种形态。随着 SAE 越来越多地被用于归因、电路发现和干预，研究者开始评估描述特征集全局性质的指标，如稀疏性、死亡特征率、重建保真度和解耦性，这一多样化的指标集已远远超出单义性。然而，这种超出单义性的隐性转变尚未被形式化为一个先于这些评估指标的清晰、定义明确的目标。缺乏这样的目标，现有指标仍是权宜之计，其必要性无法得到论证。在本工作中，我们通过引入一种新的 SAE 评估范式来形式化这一终极目标：要求 SAE 特征，以及更一般地，基于字典的模型表示分解，构成一个原子可解释单元基，即一个用于语义有意义解释的坐标系。在该范式下，我们将现有及新的度量（如 DAME（支配感知单义性评估））组织为代理指标，并引入一个全面的基准测试框架。在跨多种架构和模型家族评估数百个 SAE 后，我们揭示了若干失效模式：一些 SAE 在现有评估指标下看似单义，但在功能上仍是多义的：最主导的特征，即对模型计算贡献最大的特征，系统性地更难以解释且更加冗余。这些失效模式值得 SAE 研究者关注，作为改进训练和架构的目标，并促使将支配感知评估作为实践者在将 SAE 特征用于归因、电路追踪或干预之前的标准检查。
| 评论： | 已被 NeurIPS 2026（评估与数据集 Track）接收。92 页。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30474 [cs.LG] |
| （或 arXiv:2610.30474v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30474 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Riteng Zhang [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 21:47:27 UTC（14,317 KB）
来源：arXiv cs.CL · arxiv.org