arXiv cs.CL· I\~nigo Parra·· 10 小时前AI 评分31
研究：自然语言训练而非代码抽象塑造更接近大脑的表示几何
Language, Not Code Abstraction: Natural-language Training Shapes Brain-aligned Geometry
AI 导读
在 TinyStories、Python、C 函数、x86-64 汇编和机器码上训练的 25 个 GPT-2-small 模型显示，自然语言训练的大脑对齐分数显著高于代码训练。
正文 · AI 翻译
摘要：经过代码训练的语言模型能产生正向的脑部评分，这引出了一个问题：从编程语言中学到的抽象结构能否替代自然语言训练。我们在 TinyStories、Python、C 函数、x86-64 汇编以及相应的机器码上训练了 25 个 GPT-2-small 模型，并使用共享的分词器和编码流程，将它们与匹配的随机权重模型进行评分对比。在 Pereira-243 和 Tuckute2024 上，TinyStories 比四个代码模型的均值分别高出 $\Delta r = 0.053$ 和 $0.059$（Holm 校正后 $p<0.001$），而代码训练使对齐程度接近随机权重水平。语言优势具有基准特异性：Blank2014 未显示校正后的语言-代码差异，Fedorenko2016 也未显示语言优势。几何结构在 Pereira-243 上与编码结果一致：TinyStories 的各随机种子收敛到最相似的表示，其与神经不相似度的无拟合对应关系在 $\rho = 0.14$ 处达到峰值，是代码和随机权重水平的两倍。二值训练的模型大约有三个有效维度，因此仅凭种子一致性并不能推断出神经对应关系。仅在英语上更新嵌入矩阵，对每个代码模型在深度平均对齐上的提升，都大于在其自身语料上进行同等更新。在此架构和训练设置下，自然语言训练产生了一种独特的表示几何结构，在 Pereira-243 上具有更接近的神经对应关系
| 评论： | 被 NeurIPS 2026 的 Neureps Workshop 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09027 [cs.CL] |
| （或 arXiv:2611.09027v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09027 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Iñigo Parra [查看邮箱]
[v1]
2026年11月6日星期五 06:02:06 UTC（302 KB）
来源：arXiv cs.CL · arxiv.org