Hapax训练揭示抽象式ICL与归纳电路关联较弱

Kerem Sahin等作者提出Hapax训练方案，通过剔除归纳电路可预测token的损失贡献来抑制复制训练压力，以分析抽象式上下文学习（ICL）的训练动态。 结果显示，在归纳复制大幅减少、Vanilla训练中特征性相变消失的情况下，抽象式ICL能力仍能涌现；对注意力头的分析显示，Hapax训练的模型发展出的归纳头更少、更弱。作者据此认为，归纳电路相关涌现现象与抽象式ICL涌现之间的发展关联比此前假设更弱。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。