语言模型主谓一致电路随训练稀疏化

Qing Yao 等作者发表论文，追踪 pythia-1b 和十个随机种子的 pythia-410m 训练过程，发现主谓一致能力习得较早，初期由弥散分布的神经元承担。 行为稳定后机制仍持续重组：pythia-1b 早期由两个注意力头控制，后期改由第三个不同的头负责，且最终电路显著稀疏化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。