arXiv cs.CL· Kerem Sahin, Sheridan Feucht, Adam Belfki, Jannik Brinkmann, Aaron Mueller, David Bau, Chris Wendler·· 12 小时前AI 评分31
超越复制的上下文学习：抽象式 ICL 的训练时序分析
In-Context Learning Beyond Copying: A Training-Time Analysis of Abstractive ICL
AI 导读
研究者提出 Hapax 训练方案，通过剔除归纳电路可预测 token 的损失贡献来抑制复制训练压力，发现抽象式 ICL 能力仍能涌现，尽管归纳复制大幅减少且 Vanilla 训练中的特征性相变消失。对注意力头的分析显示，Hapax 训练的模型发展出的归纳头更少、更弱。结果表明，归纳电路相关涌现现象与抽象式 ICL 涌现之间的发展关联比此前假设更弱。
正文 · AI 翻译
摘要：归纳电路（induction circuits）的突然出现以及 LLM 在上下文中进行复制的能力，与训练过程中短时间内训练损失的急剧下降同时发生。这种共现现象被引用为证据，表明它标志着广泛的上下文学习（ICL）能力开始涌现的节点。为了分析少样本抽象式 ICL 能力（即答案不包含在输入上下文中的任务）的训练动态，我们提出了 Hapax，一种训练方案，它省略了可由归纳电路预测的 token 的损失贡献，以控制复制的训练压力。通过这一干预，我们发现抽象式 ICL 能力仍然可以涌现，尽管归纳复制大幅减少，且未出现 Vanilla 训练中观察到的特征性相变。对注意力头的分析表明，Hapax 训练的模型发展出的归纳头更少且更弱。总之，这些结果表明，与归纳电路相关的涌现现象和抽象式 ICL 涌现之间的发展联系比之前假设的要弱。更广泛地说，Hapax 提供了一个受控框架，用于分析复制相关的训练信号如何塑造上下文学习的发展。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2511.05743 [cs.CL] |
| （或 arXiv:2511.05743v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.05743 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kerem Sahin [查看电子邮件]
[v1]
2025年11月7日星期五 22:11:11 UTC（1,489 KB）
[v2]
2026年2月10日星期二 18:10:20 UTC（2,048 KB）
[v3]
2026年10月21日星期三 20:49:48 UTC（5,303 KB）
来源：arXiv cs.CL · arxiv.org