深度增长与循环结构如何影响上下文学习

Ferdinand Kapl 等作者提交的论文研究深度增长与循环复用结构如何影响语言模型的上下文学习（ICL）。研究分析了最高 3B 参数的预训练模型，发现这类模型比全深度稠密参考模型更依赖上下文信息，在受控任务中更早习得 ICL，并且在权重已学到固定关联时保留得更强。 注意力头追踪显示，深度增长会把早期 induction heads 传播到各层；消融实验表明，这类模型在少样本表现和后续 token 预测上更依赖按 induction 排序的注意力头。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。