arXiv cs.CL· Salima Lamsiyah, Adelaide Danilov, Oleksandr Marchenko Breneur, Aria Nourbakhsh·· 3 天前AI 评分24
稀疏自编码器在 NLP 机制可解释性中的关键综述：可恢复性、可解释性与实用性
Sparse Autoencoders for Mechanistic Interpretability in NLP: A Critical Survey of Recoverability, Interpretability, and Utility
AI 导读
一篇涵盖 138 项研究的综述系统梳理了稀疏自编码器（SAEs）在 NLP 机制可解释性中的表现，提出连接字典设计、特征操作与 NLP 功能的任务导向分类法。综述考察了稀疏度分配、几何结构、数据覆盖与推理对特征可恢复性的影响，并评估了语义可解释性、机制忠实性与行为实用性的证据。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）通过将语言模型激活分解为稀疏且可能可解释的特征，已成为机制可解释性领域一种有前景的方法。然而，设计假设、评估目标和实验设置上的差异使得关于其有效性的结论变得复杂。我们对自然语言处理中关于 SAE 的 138 项研究进行了批判性综述。我们的贡献有四个方面：（1）我们提出了一种基于任务的分类体系，将字典设计、特征操作和 NLP 功能联系起来；（2）我们考察了稀疏性分配、几何结构、数据覆盖和推理如何影响特征可恢复性；（3）我们评估了语义可解释性、机制忠实性和行为实用性的证据；（4）我们综合了多语言处理、检索、推理、分类和行为调控方面的发现，强调了目标、基线、监督和干预流程的作用。通过对已发表结果的比较分析，我们调和了表面上的分歧，识别了未解决的问题，并提出了更严格评估的方向。一项匿名研究登记 this https URL 随本综述一同发布。
| 评论： | 28 页，5 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20139 [cs.CL] |
| （或 arXiv:2610.20139v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20139 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Adelaide Danilov [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 12:56:00 UTC（67 KB）
来源：arXiv cs.CL · arxiv.org