arXiv cs.CL· Pratik Worah, Randall Bateman·· 11 小时前AI 评分31
语言模型会因神经元消融患上“失语症”吗？LSTM 与 Transformer 的消融对比研究
Can Language Models Get "Aphasia" From Neuronal Ablation?
AI 导读
研究对 LSTM 和 Transformer 语言模型做神经元消融并辅以有限微调，发现两类架构失效模式不同：LSTM 在整体单元消融下句法与语义能力同步渐进退化，Transformer 则在 MLP 消融下呈晚期阈值式崩塌、在注意力头消融下呈平滑 S 形下降。
正文 · AI 翻译
摘要：进行性神经元丢失是神经退行性疾病的标志，然而神经元丢失如何塑造认知衰退的模式仍知之甚少。在此，我们系统性地消融了跨越循环长短期记忆（LSTM）和 Transformer 架构的语言模型中的神经元（计算单元），并应用有限的微调作为补偿性可塑性的简单代理。在全单元消融下，LSTM 逐渐退化，在轻度至中度损伤范围内，句法和语义能力平行下降。相比之下，Transformer 在前馈多层感知机（MLP）消融下表现出晚期阈值式崩溃，在注意力头消融下表现出更平滑的 S 形下降。在定性上，MLP 消融的模型继续做出类别内语义替换（语义错语），同时非响应增加，与 Wernicke 型失语症相似，而注意力头消融产生了一种语义特异性丧失的趋势，类似于原发性进行性失语症的语义变异型（svPPA）。这些发现表明，前馈和注意力通路具有功能上不同的失效模式，提示依赖于架构的失效特征可能为失语症综合征和神经退行性疾病提供新的计算视角，作为一种计算机模拟模型。值得注意的是，Transformer 注意力头消融下的早期准确率保持，在定性上与 Gomez-Isla 等人（1996）报告的阿尔茨海默病临床症状出现时 40--60% 神经元丢失之前的症状前储备相平行，而更稳定的 LSTM 下降则与 DeKosky 和 Scheff（1990）以及 Terry 等人（1991）描述的症状性进展相平行。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28214 [cs.CL] |
| （或 arXiv:2610.28214v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28214 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pratik Worah [查看电子邮件]
[v1]
2026年10月20日星期二 13:49:25 UTC（6,502 KB）
来源：arXiv cs.CL · arxiv.org