arXiv cs.CL· David Nordfors·· 11 小时前AI 评分42
语言模型神经元中的原型语境：一种智能架构？
Archetypal contexts in the neurons of language models: an architecture for intelligence?
AI 导读
研究在 Qwen3.8-27B 内部验证了"原型语境"假说：一组神经元承载跨领域的关系模式（如临界点），另一组承载主题（如政治、生态），第三组承载语言。沉默原型神经元后模型仍识别主题但丢失模式，沉默主题神经元则相反。神经元图谱呈"三明治"分层结构，外层语言、中层主题、核心原型，该结构在预训练中自发形成并出现于所有已测绘模型。
正文 · AI 翻译
摘要：我们验证了此前的假设：语言模型将关系模式与实例化这些模式的主题领域分开存储（Nordfors, 2026）。这些原型语境是人们跨越众多领域都能识别的关系模式，例如临界点或赢家通吃，它们被存储一次并跨领域应用。我们在模型 Qwen3.8-27B 内部展示了这一点。一组神经元承载原型，比如临界点；另一组承载主题，比如政治、生态或细胞生物学；第三组承载语言，比如英语、西班牙语或中文。让临界点的神经元沉默，模型便不再识别该模式，但仍知道文本是关于什么的。让主题的神经元沉默，它便失去主题，但仍能说出模式名称。在神经元图谱中，各层自行组织成三明治结构：外层承载语言，其内的层承载主题，核心的层承载原型。这种三明治结构在预训练期间自发涌现，并出现在我们绘制的每一个模型中。原型是类比的结构，我们强烈认为这种原型与主题的结构就是语言模型智能的机制：我们看到它随着模型训练而自组织。神经元、文本和代码随本文作为复现包一同发布，以便任何人都能在模型内部重复该测试。
| 注释： | 18 页，7 幅图，2 张表。复现包（神经元集合、文本、答案、代码）见附件文件 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07234 [cs.CL] |
| （或 arXiv:2611.07234v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07234 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：David Nordfors [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 23:38:46 UTC（39,992 KB）
来源：arXiv cs.CL · arxiv.org