研究揭示Transformer算术技能习得碎片化

1. 13:00
   arXiv cs.AI

   Transformer 算术学习中的“碎裂组合性”：技能习得顺序与人类不同

   研究者在合成算术任务上训练 Transformer，发现其常以逆序或并行方式习得技能，而非人类式的顺序规则，作者称之为“碎裂组合性”。这种学习动态源于对训练数据的相关性匹配而非因果或程序性组合，导致部分习得技能相互竞争并产生混合错误。该现象在现代 LLM 中同样存在，且纯模型缩放或 scratchpad 监督均未能缓解。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。