arXiv cs.CL· Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald·· 12 小时前AI 评分27
深度增长与循环结构如何塑造语言模型的上下文学习能力
How Depth Growth and Looping Shape In-Context Learning in Language Models
AI 导读
研究分析了最高 3B 参数的预训练语言模型，发现深度增长与循环复用结构的模型比全深度稠密参考模型更依赖上下文信息，在受控任务中更早习得 ICL，且在权重学习固定关联时保留得更强。注意力头追踪显示深度增长会将早期 induction heads 传播到各层，消融实验表明这类模型在少样本表现和后续 token 预测上更依赖 induction 排序的注意力头。
正文 · AI 翻译
摘要：循环式与深度增长式语言模型在深度维度上复用计算，因其推理能力而备受关注。基于此前关于上下文学习（ICL）有所改善的提示性证据，我们研究了这种复用如何有利于 ICL，包括它如何影响该能力的获得、保持与机制。我们的分析涵盖参数量最高达 3B 的预训练语言模型以及受控任务。实验为一种共同的归纳偏置提供了证据，即倾向于从上下文中学习：与全深度稠密参考模型相比，深度增长式与循环式模型更多地依赖上下文中的信息，在受控任务中更早获得 ICL，并且在同时可以通过权重学习固定关联时更牢固地保持该能力。追踪训练过程中的注意力头表明，深度增长会将早期归纳头传播到各层。消融实验显示，深度增长式与循环式模型在少样本性能和后续词元预测上都更强地依赖归纳排序靠前的注意力头。综合来看，这些发现为一种共同的归纳偏置提供了证据，即倾向于从上下文中学习，并表明（软性）参数复用会影响该能力的发展方式以及哪些注意力机制为其提供支持。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31421 [cs.CL] |
| （或 arXiv:2610.31421v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31421 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ferdinand Kapl [查看邮箱]
[v1]
2026年10月22日星期四 15:21:22 UTC（1,626 KB）
来源：arXiv cs.CL · arxiv.org