arXiv cs.CL· Matteo He, William F. Shen, Alex Iacob, Andrej Jovanovic, Xinchi Qiu, Nicholas D. Lane·· 2 天前AI 评分27
语言模型预训练中的读出层动态：隐藏状态何时先于输出编码任务信息
Learning to Read Out: Unembedding Dynamics in Language Model Pretraining
AI 导读
研究者提出参数轨迹交叉编码方法，仅用检查点权重即可追踪语言模型读出层（unembedding matrix）的学习过程，发现模型隐藏状态能在自身读出层表达任务信息之前就已编码这些信息。
正文 · AI 翻译
摘要：语言模型何时获得一项能力？发展研究通常通过追踪模型何时开始生成正确 token 来回答这个问题。但这一预测要经过 unembedding 矩阵，即读出层，而读出层本身在预训练期间仍在学习。我们表明，模型的隐藏状态可以在其自身的读出层表达任务信息之前就编码该信息，因此从输出读取的时间线混淆了模型所编码的内容与其读出层所表达的内容。为了直接追踪读出层，我们引入了参数轨迹交叉编码，它将一个稀疏字典拟合到每个检查点处每个 token 的读出层行。与作用于激活的 crosscoder 不同，它只需要检查点权重。我们用它定位了一个狭窄的早期窗口，即 Pythia 预训练进程的 0.4-1.1% 处，在该窗口中读出层发生重组，WordNet 词类别变得可从其行中解码。到那时，对隐藏状态的线性探针已经能解码出模型自身输出尚未显示的任务信息。为了检验这种差距是否取决于读出层学习的速度，我们从零开始预训练仅读出层学习率不同的小模型。我们发现提高学习率会使读出层更早发展、差距更快弥合，而对最终损失影响很小。总之，这些结果表明，在训练早期——许多发展转变被定年的时期——行为上的时间点可能反映的是读出层学会表达任务信息的时间，而非模型学会该信息的时间。
| 评论： | NeurIPS 2026。正文 10 页，全文 51 页。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.21025 [cs.CL] |
| （或 arXiv:2610.21025v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21025 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Matteo He [查看邮箱]
[v1]
2026年10月14日星期三 23:45:26 UTC（1,892 KB）
来源：arXiv cs.CL · arxiv.org