arXiv cs.AI· Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong·· 1 天前AI 评分40
Transformer 算术学习中的“碎裂组合性”：技能习得顺序与人类不同
Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic
AI 导读
研究者在合成算术任务上训练 Transformer，发现其常以逆序或并行方式习得技能，而非人类式的顺序规则，作者称之为“碎裂组合性”。这种学习动态源于对训练数据的相关性匹配而非因果或程序性组合，导致部分习得技能相互竞争并产生混合错误。该现象在现代 LLM 中同样存在，且纯模型缩放或 scratchpad 监督均未能缓解。
正文 · AI 翻译
摘要：大型语言模型（LLM）往往在基准测试中取得很高的准确率，但在分布发生微小偏移时依然表现脆弱。尽管近期的机制性研究揭示了 LLM 与人类在技能构成上的差异，但技能习得的学习动态以及数据分布的作用仍不清楚。在本研究中，我们在合成算术任务上训练 transformer，并使用与模型无关的黑盒指标来分析非人类的技能构成。我们发现，transformer 往往以相反的顺序或并行地习得算术技能，而不是像人类那样按顺序习得规则——我们将这一现象称为碎裂式组合性（shattered compositionality）。为解释这些行为，我们提供证据表明，塑造学习动态的是与训练数据的相关性匹配，而非因果或程序性组合。因此，这种非人类的习得方式会在部分习得的技能之间产生竞争，导致特征性的混合错误，并在受控分布偏移下表现出更弱的鲁棒性。我们进一步表明，同样的定性行为在现代 LLM 中依然存在，且无法通过单纯的模型规模扩展或草稿本监督来缓解。我们的结果凸显了训练时的技能习得与类人的层次化组合之间的不匹配，这对推理可靠性和分布外鲁棒性具有启示意义。
| 评论： | 37 页，29 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2601.22510 [cs.LG] |
| （或本版本的 arXiv:2601.22510v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2601.22510 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xingyu Zhao [查看邮箱]
[v1]
2026 年 1 月 30 日星期五 03:38:54 UTC（5,693 KB）
[v2]
2026 年 8 月 8 日星期六 23:41:54 UTC（764 KB）
[v3]
2026 年 11 月 10 日星期二 21:38:03 UTC（966 KB）
来源：arXiv cs.AI · arxiv.org