arXiv cs.CL· Simin Huo, Ning Li·· 10 小时前AI 评分34
Periodic 与 Harmonic Periodic RoPE:面向 LLM 长度外推的位置编码方案
Periodic and Harmonic Periodic RoPE for Length Extrapolation in LLMs
AI 导读
研究者提出 Periodic RoPE(P-RoPE)与 Harmonic Periodic RoPE(HP-RoPE),配合滑动窗口注意力,让模型只需 W 个不同旋转角度即可缓解位置耗尽问题。
正文 · AI 翻译
摘要:处理长上下文的能力对于大语言模型(LLM)执行长程任务至关重要。旋转位置嵌入(RoPE)为每个 token 赋予新的旋转角度,因此模型最终会遇到训练中从未见过的角度,即位置耗尽。我们提出周期性 RoPE(P-RoPE),一种与滑动窗口注意力配合使用的位置编码机制。它重复 RoPE 表中前滑动窗口大小 \(W\) 个角度,因此模型只需 \(W\) 个不同角度。P-RoPE 有效,但会在窗口边界引入环绕误差。我们进一步提出谐波周期性 RoPE(HP-RoPE),通过选择在 \(W\) 个 token 内完成整圈的频率来消除该误差。我们比较了架构、数据和训练计划相同、仅在窗口层位置编码上不同的模型:标准 RoPE、P-RoPE 和 HP-RoPE。结果表明,P-RoPE 和 HP-RoPE 在训练长度从 \(768\) 到 \(16\)k 时困惑度几乎保持平稳,而 RoPE、NTK 和 YaRN 则上升。在 \(16\)k 下的无格式 Passkey 测试中,它们保持在 \(99\)--\(100\%\),而上述 RoPE 插值方法为 \(11\)--\(37\%\)。代码可在 \href{this https URL}{this https URL} 获取。
| 评论: | 5 页 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2605.27980 [cs.CL] |
| (或此版本的 arXiv:2605.27980v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2605.27980 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Simin Huo [查看邮箱]
[v1]
2026年5月27日星期三 05:18:00 UTC(110 KB)
[v2]
2026年11月19日星期四 11:59:30 UTC(352 KB)
来源:arXiv cs.CL · arxiv.org