arXiv cs.CL· Melody Zixuan Li, Taylor Webb·· 10 小时前AI 评分44
是什么驱动了大语言模型中符号机制的出现？
What drives the emergence of symbolic mechanisms in large language models?
AI 导读
研究通过从头训练神经网络发现，数据多样性而非架构是神经网络涌现符号计算的主要驱动因素。在多种数据多样性维度上，多样性越高符号特征越强；相同特征甚至出现在修改后的 Transformer 架构和多层感知机中，说明架构归纳偏置并非必要条件。该结论在实体-属性绑定任务中同样成立，论文将发表于 NeurIPS 2026。
正文 · AI 翻译
摘要：近期研究已识别出一组支持大语言模型抽象推理的涌现符号机制，但这些机制由哪些因素驱动仍不清楚。为回答这一问题，我们从零开始训练神经网络完成抽象序列任务，改变架构与数据分布两类因素，并考察这些因素对符号机制涌现的影响。通过表征分析、注意力分析和因果中介分析，我们首先确认，在我们的任务上从零训练的基于 transformer 的语言模型发展出了符号机制。随后我们发现，在数据多样性的多个维度上，多样性越高，符号特征越强。令人意外的是，在修改后的 transformer 架构乃至多层感知机中也出现了相同的特征，这表明架构归纳偏置并非符号机制发展的必要条件。我们还在实体-属性绑定任务中观察到一致的模式。这些发现共同表明，数据多样性而非架构，是神经网络中涌现符号计算的主要驱动因素。
| 评论： | 25 页，15 幅图，5 个附录。将发表于 NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13270 [cs.CL] |
| （或 arXiv:2611.13270v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.13270 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixuan Li [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 21:36:57 UTC（1,373 KB）
来源：arXiv cs.CL · arxiv.org