arXiv cs.CL· Francesco Cagnetta, Santiago Acevedo·· 2 天前AI 评分31
深层隐变量、长记忆:隐变量持续性解释 Transformer 激活中的时间相关性
Deep Latents, Long Memory: Latent persistence explains temporal correlations in transformer activations
AI 导读
研究提出用层激活的自相关函数刻画 LLM 隐层表征,发现自相关衰减尾部随层数加深而变长,在合成与真实数据中均成立。以稀疏自编码器特征作为隐变量代理时,特征持续性随深度增加、与自相关强度高度相关,且消融这些持续性特征后自相关随之下降。
正文 · AI 翻译
摘要:大型语言模型(LLM)的隐藏层被认为编码了数据的表示,且其抽象程度随深度增加。然而,在缺乏可操作的抽象概念的情况下,这一说法难以定量检验。在此,我们提出一种替代观点,基于序列的相关性反映生成该序列的过程结构这一原理。我们将某一层的自相关函数定义为其激活值在相隔一个滞后的两个上下文位置之间的平均点积。沿上下文持续编码的潜在变量会在自相关中产生缓慢衰减的尾部,我们发现这些尾部在合成数据和自然数据中均随层数增加而增长。在具有受控层次潜在结构的合成数据中,这种增长源于对抽象潜在变量的编码,这些变量支配着输入的长片段。事实上,潜在编码的持续性预测了自相关的定性结构,并解释了大部分经验测量结果。在真实文本中,我们以稀疏自编码器特征作为潜在变量的代理,发现其持续性在不同数据集和 LLM 中与自相关的幅度强烈相关。特别是,持续时间和自相关一样随深度增加,这意味着更深的潜在特征在更长的上下文跨度上持续存在。我们通过显式消融持续性的稀疏自编码器特征并观察到自相关随之下降,来补充这一分析。
| 主题: | 机器学习(cs.LG);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.18089 [cs.LG] |
| (或 arXiv:2611.18089v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.18089 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Francesco Cagnetta [查看电子邮件]
[v1]
2026年11月13日星期五 12:14:17 UTC(4,238 KB)
来源:arXiv cs.CL · arxiv.org