arXiv cs.CL· Albert Qin, Jonathan D. Cohen, Gautam Reddy·· 10 小时前AI 评分48
大语言模型中的认知地图：LLM 如何表征关系结构
Cognitive Maps in Large Language Models
AI 导读
研究通过关系推理任务与因果“mosaic”实验发现，参数量超过百亿的大语言模型能推断未明示的关系，并泛化到合成实体名称。模型将关系结构抽象表征并与实体身份表征相加组合，关系主要以成对链接存储、回溯式组合，而非前瞻性编码进全局坐标系。稀疏分布的一组键值对承担绑定作用，扰动这些键值对可植入“虚假记忆”并引发可预测的行为变化。
正文 · AI 翻译
摘要：长期以来，人们一直提出动物会构建认知地图，以支持在新环境中的灵活行为。我们通过关系推理任务和因果“马赛克”实验，检验了大语言模型是否会形成类似的内部表征。参数量超过百亿规模的模型能够推断出未明示的关系，并泛化到合成实体名称。在不同模型和任务中，模型形成了关系结构的抽象表征，并将其与实体身份的表征以相加方式结合。关系主要以成对链接的形式存储，并在事后进行组合，而非前瞻性地编码在全局坐标系中。一组稀疏、分布式的键值对介导了绑定；扰动这些键值对会植入“虚假记忆”，从而产生可预测的行为变化。我们的发现揭示了一种保守的组织方式，类似于支持语言模型进行灵活且系统化推理的认知地图。
| 评论： | v2 变更：修订了讨论部分，全文做了小幅修改，并新增了一张总结图（图 6）。结果未变 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.25596 [cs.CL] |
| （或使用 arXiv:2610.25596v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.25596 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Albert Qin [查看邮箱]
[v1]
2026年10月19日 星期一 00:02:30 UTC（12,475 KB）
[v2]
2026年11月6日 星期五 14:33:05 UTC（12,702 KB）
来源：arXiv cs.CL · arxiv.org