arXiv cs.CL· Dongyu Gong·· 2 天前AI 评分26
语言模型在工作记忆中共享读出瓶颈
Language Models Share a Readout Bottleneck in Working Memory
AI 导读
研究在 15 个预训练 LLM（70M 至 14B 参数，来自三个模型家族）及从零训练的最小 Transformer 上发现，LLM 在 N-back 任务中表现出与人类相似的工作记忆特征：记忆负载 N 增大时性能下降，错误集中于相邻错误位置的干扰项。
正文 · AI 翻译
摘要：大型语言模型（LLM）在 N-back 任务上重现了人类工作记忆的特征：随着记忆负荷 N 增加，表现下降，且错误集中在诱饵项上，即那些在当前刺激的相邻但不正确的序列位置上重复出现的项目。我们追问这种共同的行为特征是否反映了共同的机制。文献提供了两种候选解释。在精度解释中，softmax 注意力无法将其权重集中在 N 个位置之前的项目上，因此转而检索相邻项目。在干扰解释中，注意力选择了正确的项目，但竞争项目的内容破坏了决策。我们在来自三个系列（7000 万到 140 亿参数）的 15 个预训练 LLM 以及从头训练的最小 transformer 中区分了这些解释。在所有三个系列中，承载该任务的注意力头在大多数漏报匹配中都关注目标。线性探针几乎完美地解码出匹配字母是出现在目标位置还是诱饵位置，即使在模型对诱饵误报的试次上也是如此，尽管其自身决策几乎无法区分两者。锐化注意力带来的增益可忽略不计，而抑制非目标项目的字母身份在几乎所有模型×负荷条件下都提高了敏感度（d'）。在更大的模型中，任务分布在更多的头上，消除干扰的帮助更大。在最小 transformer 中，精度限制单个注意力层，但第二层消除了这一约束。因此，LLM 的工作记忆限制在于在干扰下读出项目，而非定位它们，这与人类工作记忆的干扰解释一致。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.21176 [cs.LG] |
| （或 arXiv:2610.21176v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21176 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dongyu Gong [查看电子邮件]
[v1]
2026年10月15日星期四 03:32:37 UTC（141 KB）
来源：arXiv cs.CL · arxiv.org