arXiv cs.CL· Jacob Solinsky (University of Minnesota), Serguei Pakhomov (University of Minnesota)·· 11 小时前AI 评分24
大语言模型如何编码与传播语法数：基于 SAE 的 Pythia-70M 研究
Encoding and Propagation of Grammatical Number in Large Language Models
AI 导读
研究者用稀疏自编码器（SAE）在 Pythia-70M 上定位到“复数名词”“复数主语”“生成复数动词”等特征，移除这些特征会让模型把“the men in the park”后的 are/do/have 改成单数形式，反向干预则相反。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）已成为一种日益流行的手段，用于将大型语言模型（LLM）的隐藏状态向量转换为人类可理解的特征或符号列表。因此，SAE 可以为理解 LLM 的知识表示和内部“心理”语法提供洞见——这些主题对于 AI 行为的机制性解释具有实际意义，对于研究人类语言的硅基表示也具有理论意义。参数量少于 1 亿、在小规模语料上训练的语言模型，尽管生成内容的可靠性有限，却仍表现出很强的语法能力和语篇连贯性。我们使用在一个此类模型（Pythia-70M）上训练的 SAE，深入考察单一语法现象——数一致——在 LLM 中是如何被表示和处理的。我们展示了 SAE 可用于发现和传播“复数名词”“复数主语”“生成复数动词”特征的机制与方法，这些特征会使 LLM 在响应诸如“the men in the park”之类的提示时，生成“are”“do”或“have”等复数动词形式，而非“is”“does”和“has”。我们表明，干预以从复数主语名词词元的隐藏状态中移除这些特征，会使模型改为生成单数动词，反之亦然。我们还表明，相应的“单数名词”和“生成单数动词”特征在此任务上效果不佳。这种不对称性表明，Pythia-70m 利用了英语语法数的一种缺失性表示。这些发现在更大的 LLM Gemma-2-2b 和 Llama-3.1-8b 上重复，得到了类似结果。我们的主要贡献是提出了一种利用 SAE 理解 LLM 如何编码人类语言的新方法，解决了若干技术和方法论挑战。
| 评论： | 50 页，19 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07283 [cs.CL] |
| （或 arXiv:2611.07283v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07283 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jacob Solinsky [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 01:04:02 UTC（2,596 KB）
来源：arXiv cs.CL · arxiv.org