arXiv cs.CL· Jian Gu, Hongyu Zhang, Chunyang Chen, Aldeida Aleti·· 2 天前AI 评分24
Lexical Reference Frames：用模型原生语义解读 LM 残差流
Lexical Reference Frames: Interpreting LM Residual Streams in Native Semantics
AI 导读
研究者提出 Lexical Reference Frames，通过模型自身剩余层读取隐藏状态，为每个隐藏状态构建原生参考框架。在 SmolLM3-3B 和 OLMo3-7B 中层深度，一阶框架 LexFrame[1] 一致性达 0.97，远超固定透镜的 0.30 和 0.35，读取状态与模型输出仅差 0.16 nats。
正文 · AI 翻译
摘要：语言模型的词表就是它的原生语义：嵌入与反嵌入在残差流的两端固定了一个状态的含义。在二者之间，现有方法要么复用固定的透镜，要么把状态视为点云，二者都没有像模型那样读取状态。我们认为每个隐藏状态都有一个原生参考系，它由接下来读取该状态的各层诱导产生，并自适应于上下文。词汇参考系通过模型自身剩余的层来读取状态，在位置之间使用指定轮数的注意力，其余部分使用典型的注意力输出，且不拟合模型的输出，从而近似该参考系。任何透镜，若每层方向固定，都无法超过原生参考系相干度的平方根，在 SmolLM3-3B 和 OLMo3-7B 的中层深度分别为 0.30 和 0.35，而一阶参考系 LexFrame[1] 达到 0.97 和 0.97，读取状态与模型输出的差距在 0.16 nats 以内。其系数比归因修补更忠实地归因预测，其词汇基在引导一个预测的同时不干扰其他 token，其高置信度读取可让提前退出跳过 0.45 和 0.42 的层，而透镜几乎无法跳过任何层。通过这种方式，词汇参考系使模型的每个隐藏状态都可读、可归因且可引导。
| 评论： | 代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22169 [cs.CL] |
| （或 arXiv:2610.22169v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22169 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jian Gu [查看邮箱]
[v1]
2026年10月15日星期四 16:29:27 UTC（219 KB）
来源：arXiv cs.CL · arxiv.org