arXiv cs.CL· Mohammad Aflah Khan, Krishna P. Gummadi, Manish Gupta, Abhilasha Ravichander·· 2 天前AI 评分31
部分 RoPE 能否兼顾效率与收敛？研究揭示性能与训练动态
Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE
AI 导读
研究系统考察了部分 RoPE（仅对一部分隐藏维度施加旋转位置编码）对 Transformer 训练动态与收敛的影响，发现仅对约 10% 维度应用 RoPE 即可达到与完整 RoPE 相当的收敛效果，同时相比标准 RoPE 缓存最多节省 10× 内存。
正文 · AI 翻译
摘要：旋转位置嵌入（RoPE）被广泛用于 transformer 中编码相对位置信息，但仅对一部分隐藏维度应用 RoPE 的效果仍未得到充分探索。这种设计选择可以大幅减少内存占用，尤其是在长上下文长度下。我们表明，部分 RoPE 相比标准 RoPE 缓存可实现高达 10$\times$ 的内存节省，同时保持相当的最终损失。我们系统地研究了其在训练动态和收敛性方面的影响，涵盖不同架构、模型规模、序列长度和数据集。我们的结果揭示：(1) 仅对一小部分维度（约 10\%）应用 RoPE 即可达到与完整 RoPE 相当的收敛性；(2) 这些趋势在不同设置下保持一致；(3) NoPE（无位置编码）可能产生损失尖峰，而通过最小化 RoPE 使用或应用 QK-Norm 可缓解这一问题。总体而言，我们的发现表明部分 RoPE 是效率与稳定性之间的有效权衡。
| 评论： | 被 EMNLP 2026 主会议接收为短文 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.11611 [cs.LG] |
| （或 arXiv:2603.11611v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.11611 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammad Aflah Khan [查看邮箱]
[v1]
2026年3月12日星期四 07:05:13 UTC（3,864 KB）
[v2]
2026年10月15日星期四 08:33:35 UTC（3,883 KB）
来源：arXiv cs.CL · arxiv.org