跳到正文
arXiv cs.CL· Shauli Ravfogel, Gilad Yehudai, Joan Bruna, Alberto Bietti·· 10 小时前AI 评分34

Transformer 如何以几何方式记忆事实:NeurIPS 2026 论文提出对数嵌入维度即可

Geometric Factual Recall in Transformers

AI 导读

一篇被 NeurIPS 2026 接收的论文提出 Transformer 记忆事实关联的“几何”机制:在单层 Transformer 记忆随机双射的受控设定下,证明对数级嵌入维度即可足够,主体嵌入编码其关联属性向量的线性叠加,小型 MLP 充当按关系条件选择属性的选择器。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Transformer 语言模型如何记忆事实关联?一种常见的解释将内部权重矩阵视为联想记忆。这种解释要求参数数量随事实数量线性增长。我们针对一种替代性的、\emph{几何}形式的记忆,给出了理论与实证层面的解释:在这种形式中,学习到的嵌入直接编码关系结构,而 MLP 扮演着性质不同的角色。在单层 Transformer 记忆从主语到共享属性集的随机双射的受控设定下,我们证明对数级的嵌入维度即已足够。主语嵌入编码其关联属性向量的\emph{线性叠加},而一个小型 MLP 充当关系条件选择器,从嵌入中提取相关属性。我们将这些结果扩展到多跳设定——即诸如“$x$ 的妻子的母亲是谁?”这类关系查询链——并给出了带与不带思维链的构造,这些构造展现出可证明的容量—深度权衡,并辅以相匹配的信息论下界。在实证上,梯度下降发现了具有所预测结构的解。因果实验支持所提出的机制:当主语嵌入被适当地重新初始化时,冻结的 MLP 能够零样本迁移到全新的双射上,表明它学到的是通用的选择机制,而非充当键值记忆。
评论: 已被 Neurips 2026 接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2605.12426 [cs.CL]
  (或 arXiv:2605.12426v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.12426

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shauli Ravfogel [查看电子邮件]
[v1] 2026年5月12日星期二 17:22:22 UTC(2,067 KB)
[v2] 2026年11月19日星期四 00:22:50 UTC(2,072 KB)

来源:arXiv cs.CL · arxiv.org