arXiv cs.CL· Shikhar Srivastava, Christopher Kanan·· 10 天前AI 评分25
LayerRoPE：动态深度幅度与角度叠加
LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
AI 导读
LayerRoPE 将 Transformer 中随深度增长的归一化权重 γ 显式建模为深度位置编码，用单一共享向量加深度条件标量替换所有逐层 γ 向量，参数量净减少、FLOPs 变化小于 0.02%。
正文 · AI 翻译
摘要：随着数据在 Transformer 中传播，其隐藏状态的范数会随深度呈数量级增长，这一现象被称为“深度诅咒”，并且几乎被普遍视为一种需要抑制的病理现象。我们持相反观点。在来自 9 个系列、涵盖稠密、专家混合和混合架构以及 Pre-、Peri- 和 Post-Norm 设计的 16 个预训练 LLM 中，我们发现这种增长反映了一种涌现的深度位置编码，它由残差流上唯一可学习的逐层增益——归一化权重 $\gamma$ 承载：随着深度增加，$\gamma$ 的幅度增大且方向旋转，共同编码层索引。我们通过 LayerRoPE 将这种深度条件编码显式化，它是沿深度轴的 RoPE 的隐式类比，用单个共享向量和深度条件标量替换所有逐层的 $\gamma$ 向量，净减少参数且 FLOPs 变化 $<0.02\%$。在扩展到 $100$B+ token 的模型阶梯中，LayerRoPE 始终优于 Pre-、Post- 和 Peri-Norm 以及 Layer-Norm Scaling，以 $3.4\times$ 更少的计算量达到 Pre-Norm 的 1.3B 损失；LayerRoPE 是唯一在深度扩展到 512 层时表现出强收敛并近乎单调改进的方法。它将学习率敏感性改善了 $3$-$10\times$，并且可以朴素地迁移到循环潜在模型和 Vision Transformer 并持续改进它们。检查其学习到的调度方案颠覆了主流前提：LayerRoPE 并不缩小残差流，而是拓宽它，抑制每个块读取的内容，同时放大它写入的内容。我们的结果表明，深度稳定性需要的不是抑制残差流，而是对其所馈送的计算块进行深度条件调节。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.09179 [cs.LG] |
| （或 arXiv:2610.09179v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09179 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shikhar Srivastava [查看电子邮件]
[v1]
2026年10月6日星期二 22:30:58 UTC（4,739 KB）
来源：arXiv cs.CL · arxiv.org