研究者提出周期与谐波周期RoPE扩展长上下文
热点事件持续更新
研究者提出周期与谐波周期RoPE扩展长上下文
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Simin Huo 与 Ning Li 提出 Periodic RoPE(P-RoPE)和 Harmonic Periodic RoPE(HP-RoPE)两种位置编码方法,用于大语言模型的长度外推。据论文,这两种方法需与滑动窗口注意力配合使用,使模型只需 W 个不同旋转角度即可缓解位置耗尽问题。 目前公开信息仅为论文中的方法描述,尚无实验数据或第三方验证说明其实际外推效果。
AI 根据报道生成 · 1 小时前更新
最新进展11月20日 13:00
Periodic 与 Harmonic Periodic RoPE:面向 LLM 长度外推的位置编码方案报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.CLPeriodic 与 Harmonic Periodic RoPE:面向 LLM 长度外推的位置编码方案
研究者提出 Periodic RoPE(P-RoPE)与 Harmonic Periodic RoPE(HP-RoPE),配合滑动窗口注意力,让模型只需 W 个不同旋转角度即可缓解位置耗尽问题。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。