arXiv cs.AI· Joseph Turnbull, Jamie Simon·· 10 小时前AI 评分31
无需特征学习也能实现上下文学习：核机器视角下的记忆与泛化
You Don't Need Feature Learning to Do In-Context Learning
AI 导读
研究通过核特征基分解分析旋转不变核机器在 ICL 线性回归任务上的学习过程，发现随着样本量增长，模型依次学习记忆解的高阶分量，泛化解近似为记忆解的低阶截断，因此模型先泛化、后随训练退化为记忆。作者据此提出，ICL 任务上的"泛化"解本质上只是对记忆解欠拟合，而核机器能在该任务上泛化说明特征学习并非 ICL 的必要条件；实验训练的 Transformer 也按核理论预测的高阶统计量记忆任务。
正文 · AI 翻译
摘要：我们应如何理解上下文学习（ICL）任务中的记忆与泛化，以及二者分别在何时发生？为探究这一问题，我们研究了旋转不变核机如何学习 Raventos 等人（2023）提出的 ICL 线性回归任务。通过在核特征基中分解该任务，我们得到了该 ICL 设定下学习的谱图景。这一图景揭示：随着样本量增长，核机依次学习记忆解中阶数越来越高的分量，而这些分量依赖于训练任务集中阶数越来越高的统计量。泛化解近似为记忆解的低阶截断，因此模型先泛化，随着训练进行再退化为记忆。
结论有三点。第一，若此情形具有代表性，那么在 ICL 任务上学习“泛化”解实际上只是对记忆解欠拟合！第二，核机能够在该任务上泛化这一事实意味着特征学习对 ICL 并非必需。第三，经实证训练以执行 ICL 的 transformer 被证明会通过核理论所预测的训练任务高阶统计量来记忆任务，这表明该理论甚至适用于具备特征学习能力的模型。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13431 [cs.LG] |
| （或 arXiv:2611.13431v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13431 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Joseph Turnbull [查看邮箱]
[v1]
2026年11月10日星期二 01:16:06 UTC（307 KB）
来源：arXiv cs.AI · arxiv.org