跳到正文
arXiv cs.CL· Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik·· 10 小时前AI 评分34

Persistent SAEs:为语言模型特征学习专属时间尺度

Persistent Sparse Autoencoders: Learning Feature-Specific Timescales in Language Model Representations

AI 导读

研究者提出 Persistent Sparse Autoencoders(Persistent SAEs),在标准 SAE 基础上为每个特征学习一个持久系数,使特征专属时间尺度从重建中自然涌现。实验显示其重建质量保持竞争力,短时间尺度特征局部可解释,长时间尺度特征则累积更高层上下文信息。在提示词注入监控案例中,慢特征能在长上下文中保留注入信号并因果影响监控判断。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:稀疏自编码器(SAE)将语言模型激活分解为稀疏特征,但这些模型传统上独立编码每个 token,无法揭示在序列中持续存在的信息。我们首先表明,时间持续性可以在标准 SAE 特征中自然出现:特征激活后,隐藏状态保持与其方向对齐,过去的激活会降低后续隐藏状态的重建误差。这种持续的时间因特征而异,差异很大。因此,我们引入了持久稀疏自编码器(Persistent SAEs),这是标准 SAE 的扩展,为每个特征学习一个持久系数,使特征特定的时间尺度从重建中涌现。我们的实验表明,Persistent SAEs 在保持有竞争力的重建质量的同时,学习到一系列时间尺度:短时间尺度(快)特征保持局部可解释性,而长时间尺度(慢)特征积累更高层次的上下文信息。此外,我们在一个提示注入监控案例研究中表明,慢特征在长上下文中保留注入信号,并对监控判断产生因果影响。这些结果表明,Persistent SAEs 通过持久特征为解释和监控语言模型提供了新的机会。
主题: 机器学习(cs.LG);计算与语言(cs.CL)
引用为: arXiv:2607.17117 [cs.LG]
  (或 arXiv:2607.17117v3 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2607.17117

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Haoyan Luo [查看电子邮件]
[v1] 2026年7月19日星期日 08:07:32 UTC(1,036 KB)
[v2] 2026年9月2日星期三 11:15:48 UTC(912 KB)
[v3] 2026年11月19日星期四 08:02:31 UTC(2,067 KB)

来源:arXiv cs.CL · arxiv.org