arXiv cs.CL· Shauli Ravfogel, Gilad Yehudai, Joan Bruna, Alberto Bietti·· 10 小时前AI 评分34
Transformer 如何以几何方式记忆事实:NeurIPS 2026 论文提出对数嵌入维度即可
Geometric Factual Recall in Transformers
AI 导读
一篇被 NeurIPS 2026 接收的论文提出 Transformer 记忆事实关联的“几何”机制:在单层 Transformer 记忆随机双射的受控设定下,证明对数级嵌入维度即可足够,主体嵌入编码其关联属性向量的线性叠加,小型 MLP 充当按关系条件选择属性的选择器。
正文 · AI 翻译
摘要:Transformer 语言模型如何记忆事实关联?一种常见的解释将内部权重矩阵视为联想记忆。这种解释要求参数数量随事实数量线性增长。我们针对一种替代性的、\emph{几何}形式的记忆,给出了理论与实证层面的解释:在这种形式中,学习到的嵌入直接编码关系结构,而 MLP 扮演着性质不同的角色。在单层 Transformer 记忆从主语到共享属性集的随机双射的受控设定下,我们证明对数级的嵌入维度即已足够。主语嵌入编码其关联属性向量的\emph{线性叠加},而一个小型 MLP 充当关系条件选择器,从嵌入中提取相关属性。我们将这些结果扩展到多跳设定——即诸如“$x$ 的妻子的母亲是谁?”这类关系查询链——并给出了带与不带思维链的构造,这些构造展现出可证明的容量—深度权衡,并辅以相匹配的信息论下界。在实证上,梯度下降发现了具有所预测结构的解。因果实验支持所提出的机制:当主语嵌入被适当地重新初始化时,冻结的 MLP 能够零样本迁移到全新的双射上,表明它学到的是通用的选择机制,而非充当键值记忆。
| 评论: | 已被 Neurips 2026 接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.12426 [cs.CL] |
| (或 arXiv:2605.12426v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.12426 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Shauli Ravfogel [查看电子邮件]
[v1]
2026年5月12日星期二 17:22:22 UTC(2,067 KB)
[v2]
2026年11月19日星期四 00:22:50 UTC(2,072 KB)
来源:arXiv cs.CL · arxiv.org