研究揭示Transformer训练中的读写不对称几何结构

1. 12:00
   arXiv cs.CL

   研究揭示Transformer训练中的读写不对称几何结构

   研究分析了预训练与对齐阶段如何更新同一Transformer权重，发现对齐阶段对query和key矩阵的更新集中在输入主 subspace，而对输出矩阵的更新相对预测子空间接近随机。该特征在预训练后期及不同目标函数下均出现，说明其属于训练阶段属性而非目标函数属性。读梯度继承激活谱，写梯度继承上游梯度几何，优化器会衰减这种集中度。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。