arXiv cs.CL· Jack T. Parley·· 10 小时前AI 评分31
Transformer 语言模型如何分阶段学会 inside-outside 计算：一项可解释性研究
Stagewise and interpretable emergence of inside-outside computation in Transformer-based language models
AI 导读
研究通过合成上下文无关文法追踪 Transformer 的学习动态，发现其损失阶段可解析计算，并对应一个隐藏的潜在树变量。探测显示模型早期仅用局部 bigram/trigram 信息、涉及少数初始层，随后逐步形成编码器-解码器结构：抽象潜在信息编码于中部，后半网络逐步精炼最终 token 预测。
正文 · AI 翻译
摘要：句法结构的可变性和解析歧义是自然语言的基本特征，现代 LLM 必须学会熟练处理。此前的“事后剖析”研究表明，完全训练好的 Transformer 确实能近似 inside-outside 等规范解析算法，但关于这实际上是如何学到的，理论上还鲜有定论。本文通过研究具有可变解析树拓扑的合成上下文无关文法中的学习动态，朝解决这一问题迈出了第一步。各阶段学习曲线是完全可解释的，即所有损失阶段 a) 都可以解析计算，b) 都能清晰地与隐藏潜在树变量的表示相关联，从而能够消除歧义并利用更广上下文中的信息。通过探测表示，我们可视化了 inside-outside 计算在深度上和训练过程中的涌现：在早期阶段仅使用局部（二元/三元）信息且只涉及少数初始层，而 Transformer 逐渐发展出编码器-解码器结构，其中最抽象的潜在信息编码在中间，网络的后半部分用于逐步精炼最终的 token 预测。这种计算组织方式让人联想到真实世界 LLM 中的发现，并且重要的是，它适用于一个允许对数据统计进行完全解析控制的合成模型，从而为理论进展打开了大门。
| 评论： | 20 页，9 幅图 |
| 主题： | 计算与语言（cs.CL）；无序系统与神经网络（cond-mat.dis-nn） |
| 引用为： | arXiv:2611.14221 [cs.CL] |
| （或 arXiv:2611.14221v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14221 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jack Thomas Parley [查看电子邮件]
[v1]
2026 年 11 月 10 日星期二 15:39:47 UTC（4,583 KB）
来源：arXiv cs.CL · arxiv.org