arXiv·· 14 天前AI 评分22
ScopeSAE：用可解释层选择实现模型范围特征发现
ScopeSAE: Model-Scope Feature Discovery with Interpretable Layer Selection
AI 导读
针对现有稀疏自编码器（SAE）按层训练、建模子空间被层身份固定所导致的特征利用率低、字典冗余高、特征缺乏行为依据等问题，研究者提出 ScopeSAE，按 token 选择建模子空间，将每次预测归因到驱动它的 token-层状态。
来源：arXiv · arxiv.org