arXiv cs.CL· Xinyu Guo, Minglai Yang, Clayton T. Morrison, Eduardo Blanco, Mihai Surdeanu·· 11 小时前AI 评分29
TaxoSAE：用分类学逻辑重构稀疏自编码器
TaxoSAE: Rethinking Sparse Autoencoders through Taxonomic Logic
AI 导读
TaxoSAE 将 is-a（上下位）分类关系显式编码进 SAE 特征空间，用每层一个 SAE 的堆叠结构对应分类层级，并引入分类对齐损失。在两个事实问答分类体系上，抽象概念上位词读出提升 31.3 分，概念替换成功率提升 25.5 分，未见概念经上位词读出最高提升 37.9 分。抑制某概念时仅其自身答案受影响（准确率 0-2%，其他概念仍为 91-100%）。
正文 · AI 翻译
摘要：近期的稀疏自编码器（SAE）将大语言模型（LLM）的表示分解为可解释的特征，从而能够精确读取和控制所编码的知识。然而，现有 SAE 将每个特征视为独立单元，而现实世界中的知识通常按分类学组织。因此，读取无法保证分类学一致性，控制也缺乏指定编辑范围的粒度。我们提出 TaxoSAE，它基于 is-a（上位词-下位词）关系，将分类学信息显式编码到 SAE 特征空间中。TaxoSAE 用一组 SAE 堆栈来镜像分类学，每个分类层级对应一个 SAE，并引入分类学对齐损失，训练每个概念在其任一下位词出现时被激活。在两个事实性问答分类学（一个关于传记关系，一个关于动物）上，TaxoSAE 实现了：(1) 通过分类学进行更准确的读取，激活更集中，例如在读取训练中从未查询过的抽象概念的上位词时提升 31.3 分；(2) 更精确的控制，交换成功率提升 25.5 分，同时抑制某个概念时只移除其自身的答案（准确率 0-2%，而其他概念为 91-100%）；更重要的是，(3) 通过上位词读取未见过的概念，上位词读取准确率最高提升 37.9 分。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31894 [cs.CL] |
| （或 arXiv:2610.31894v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31894 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xinyu Guo [查看邮箱]
[v1]
2026年10月22日星期四 20:45:23 UTC（777 KB）
来源：arXiv cs.CL · arxiv.org