arXiv cs.AI· Saman Rahbar·· 9 天前AI 评分23
相似度分数不等于结构：大脑对齐与跨语言迁移的可靠性问题
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
AI 导读
一项 NeurIPS 2026 LP4FM 接收研究指出，相似度分数未必反映模型与大脑或跨语言共享的真实结构。跨 17 种语言测试中，语法性探针在 4 种语言上仅达随机水平，且距离越远迁移越差（r = -0.66）；将 272 个语言对视为独立时转向效应 p = 0.0006，而以 17 种语言为单位时 p = 0.155。
正文 · AI 翻译
摘要：相似度分数常被用作证据，表明模型与大脑共享结构，或跨语言共享结构。我们提出一个问题：当这种结构被移除，或测量它的工具失效时，这样的分数还能读出什么？我们在两种情境下考察。在十七种语言中，语法性探针在语言距离越远时迁移效果越差（r = -0.66）。但探针自身的准确率也沿同一轴下降，并在四种语言中处于随机水平，而这四种语言属于距离最远的五种语言中的四种。去掉它们会使解释方差减半，而由于这也缩小了距离范围，该设计无法说明梯度中有多少来自工具本身。将 272 个语言对视为独立时，一个引导效应的 p = 0.0006，而以十七种语言为单位时该效应为零（p = 0.155）。在大脑对齐中，一个训练目标将语言模型与 fMRI 响应的相似度从 0.10 提高到 0.34（信度上限 0.54），然而大脑对应关系被破坏的目标仍能达到 0.31。打乱的目标相对于真实目标的得分约为 k/n，其中 k 为排名、n 为句子数，这是一个可在任何模型训练之前计算出的基线。两种干预都有效，但我们未检测到按距离分级的引导效应，也未发现对齐带来句法上的益处。在解读一个对应关系分数之前，先测量在没有对应关系时它还能保留多少。
| 评论： | 12 页，2 幅图，1 张表。被 NeurIPS 2026 - Linguistic Principles for Foundation Models (LP4FM) 接收为海报展示。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；神经元与认知（q-bio.NC） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.03827 [cs.CL] |
| （或 arXiv:2610.03827v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.03827 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Saman Rahbar [查看邮箱]
[v1]
2026 年 10 月 2 日星期五 09:21:49 UTC（67 KB）
[v2]
2026 年 10 月 7 日星期三 19:00:14 UTC（67 KB）
来源：arXiv cs.AI · arxiv.org