研究揭示Transformer分阶段学会inside-outside计算

Jack T. Parley 发表论文，用可变解析树拓扑的合成上下文无关文法追踪 Transformer 的学习动态，发现其损失曲线可分段解析，并对应一个隐藏的潜在树变量。 探测显示，模型早期只依赖局部 bigram/trigram 信息、涉及少数初始层；随后逐步形成编码器-解码器式结构，抽象潜在信息编码于网络中部，后半部分网络逐步精炼最终 token 预测。该研究将这一过程描述为 inside-outside 计算的阶段性涌现。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。