arXiv cs.CL· Muxuan He, Wang Bill Zhu, Yue Chen, Elsi Kaiser, Weizhi Du, Yao Du, Samuel Nastase, Yanjun Gao·· 12 小时前AI 评分31
把失语症当作透镜:研究 LLM 语言功能的结构与纠缠
Language Impairment as a Lens onto Large Language Models
AI 导读
研究者提出受失语症启发的机制可解释性框架,用分类器引导的损伤与连续激活引导两种方法在 LLM 中系统性诱发类失语症故障。结果显示语言功能可被定位到离散结构回路和连续表征向量,但不同失语症画像间存在显著回路重叠与向量相似性,功能高度纠缠;激活引导可稳健泛化到下游任务,结构损伤则受非对称约束。
正文 · AI 翻译
摘要:尽管大语言模型(LLMs)在高度分布式的空间中编码语言,但它们仍然容易受到局灶性干扰——这一现象与人类局部脑损伤导致临床失语症的情况惊人地相似。为了探究这一理论张力,我们受失语症启发,引入了一种新颖的机制可解释性框架,以此追问 LLMs 是否具备与人类语言系统类似的功能结构。通过两种互补的方法——分类器引导的损伤和连续激活引导——我们系统性地在 LLMs 中诱导出类似失语症的功能崩溃。我们发现,语言功能可以成功地被分离到离散的结构回路和连续的表示向量中,然而这些功能仍然密集地纠缠在一起,不同失语症特征之间存在显著的回路重叠和向量相似性。此外,虽然引导在下游任务上具有稳健的泛化能力,但结构损伤仍然受到不对称的约束。通过桥接神经心理学和机制可解释性,我们证明 LLMs 在功能上类似于生物大脑,依赖于一种密集纠缠的架构,而这种架构可以通过临床启发的干预措施被系统性地映射出来。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.28992 [cs.CL] |
| (或 arXiv:2610.28992v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28992 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Wang Bill Zhu [查看电子邮件]
[v1]
2026年10月20日星期二 23:42:36 UTC(1,917 KB)
来源:arXiv cs.CL · arxiv.org