arXiv cs.CL· Valeria Ruscio, Keiran Thompson·· 2 天前AI 评分31
研究揭示Transformer训练中的读写不对称几何结构
The Geometry of Learning: Read-Write Asymmetry Across Training
AI 导读
研究分析了预训练与对齐阶段如何更新同一Transformer权重，发现对齐阶段对query和key矩阵的更新集中在输入主 subspace，而对输出矩阵的更新相对预测子空间接近随机。该特征在预训练后期及不同目标函数下均出现，说明其属于训练阶段属性而非目标函数属性。读梯度继承激活谱，写梯度继承上游梯度几何，优化器会衰减这种集中度。
正文 · AI 翻译
摘要：预训练和对齐会更新同一个 transformer 权重，我们追问每个阶段分别朝哪些方向改变它们。残差流为每个矩阵提供了一个共享坐标系，在该坐标系中，可以将权重变化与该矩阵所读取激活的主子空间以及 unembedding 的预测子空间进行比较。在这一框架下，对齐对 query 和 key 矩阵的更新在输入主子空间中富集，而其输出矩阵的更新相对于预测子空间接近随机，并且同样的特征出现在预训练后期，也出现在我们对同一个 checkpoint 施加的每一个目标下，因此它是训练阶段的属性，而不是目标的属性。线性映射的梯度是外积之和 $\delta_t a_t^\top$，残差流通过激活 $a_t$ 进入该乘积（对于从残差流读取的矩阵），并通过上游梯度 $\delta_t$ 进入该乘积（对于写入残差流的矩阵）。因此，读梯度继承了激活的谱，而该谱在每个目标下都相同；写梯度则继承了上游梯度的几何结构，而上游梯度仅在预训练早期指向预测子空间，此时输出矩阵获得其预测几何。原始读梯度遵循激活谱，优化器削弱了它继承的集中度，而 token 之间的抵消决定了更新的尺度，但不决定其方向。从 unembedding 导出的写方向在对齐后仍会改变预测，并且限制在任意单一矩阵组上的适配仍然有效，因此该特征描述的是训练把更新放在哪里，而不是哪些矩阵能够承载它们。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.16600 [cs.LG] |
| （或 arXiv:2605.16600v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.16600 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Valeria Ruscio [查看邮箱]
[v1]
2026年5月15日星期五 20:00:59 UTC（1,085 KB）
[v2]
2026年10月27日星期二 13:00:48 UTC（1,269 KB）
来源：arXiv cs.CL · arxiv.org