arXiv cs.AI· Francesco Cagnetta, Casper L. Christensen·· 2 天前AI 评分24
可解主题模型中的上下文学习与专业化：学习理论研究
In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model
AI 导读
研究在可解主题模型下为上下文学习与专业化预测器之间的竞争提供了学习理论。理论预测上下文预测器在早期即可用，而专业化预测器需训练 token 数超过数据生成过程的参数量后才出现。训练后的 Transformer 复现了这两个尺度及分离交叉点，且无需拟合参数。
正文 · AI 翻译
摘要：序列模型可以以根本不同的方式泛化：外推训练中见过的结构，或利用其提示来适应新任务。主导策略决定了模型在训练分布之外的行为，控制着潜在的能力与风险。近期工作从理论上刻画了许多不同的策略，并经验性地描述了随着预训练数据的质量和数量变化，它们之间的转变。然而，对于这种竞争尚无学习理论，因此无法从根本上理解\textit{为什么}一种解可能优于另一种。在此，我们在一个可解的专题模型中提供了这样的理论——文档来自有限潜在主题的混合，反映了现代预训练数据的异质性。该数据集带有两种不同的解：一种专门的预测器，存储有限的主题混合；以及一种上下文内的预测器，对于训练中从未见过的主题最优。我们的理论预测了它们在不同样本复杂度下的出现：上下文内预测器很早就可用，而专门的预测器只有在训练 token 数量超过数据生成过程的参数数量之后才会出现。训练后的 transformer 复现了这两个尺度以及分离的交叉点，与理论惊人地一致，且没有拟合参数。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.21901 [cs.LG] |
| （或 arXiv:2610.21901v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21901 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Francesco Cagnetta [查看电子邮件]
[v1]
2026年10月15日星期四 13:54:37 UTC（1,113 KB）
来源：arXiv cs.AI · arxiv.org