核机器研究揭示ICL先泛化后退化机制

Joseph Turnbull 与 Jamie Simon 提交的论文用核特征基分解分析旋转不变核机器在上下文学习（ICL）线性回归任务上的学习过程，发现随样本量增长，模型依次学习记忆解的高阶分量，泛化解近似为记忆解的低阶截断，因此模型先泛化、后随训练退化为记忆。作者据此提出，ICL 任务上的“泛化”解本质上只是对记忆解的欠拟合；核机器能在该任务上泛化，说明特征学习并非 ICL 的必要条件。实验训练的 Transformer 也按核理论预测的高阶统计量完成记忆任务。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。