arXiv cs.CL· Zhongping Ji·· 10 天前AI 评分22
HySPE：通过辛对偶剪切实现的位置编码
HySPE: Positional Encoding via Symplectic Dual Shears
AI 导读
研究者提出 Hyperbolic Symplectic Positional Encoding（HySPE），用辛变换的双剪切阻尼对称组合替代 RoPE 的旋转参数化，并通过特征基对角化与分块坐标重基消除表示漂移，在 RTX 4090 上前向延迟与缓存 RoPE 持平（7.21 ms）。
正文 · AI 翻译
摘要：我们提出双曲辛位置编码（HySPE），将位置注意力建立在非紧辛变换之上。经典的旋转位置嵌入（RoPE）通过旋转参数化 $\Sp(2,\R)$ 的紧致椭圆分支，而 HySPE 则通过对偶剪切的阻尼对称复合来操作其双曲分支，产生一种每通道对具有两个谱衰减率的共形辛收缩。为消除朴素绝对分解固有的指数表示漂移，我们在其不变特征基中对算子进行对角化，并引入具有自适应居中执行的逐块坐标重基。这保证了与长度无关的数值界限，同时匹配缓存 RoPE 的前向延迟（RTX 4090 上为 7.21\,ms）。在 TinyShakespeare 上，HySPE-UltraLong 在高达 $16\times$ 零样本外推（$L=4096$）时保持 4.810 的不变困惑度，而 RoPE 退化至 131.198。扩展到 WikiText-103（$L_{\text{train}}=512$）上的 51M 参数子词 Transformer 时，HySPE 在域内与 RoPE 密切匹配，同时稳健地外推至长度 8192，将尾部困惑度较 RoPE 降低 83.9\%。虽然这些受控实验确立了 HySPE 的外推稳健性和数值稳定性，但在大规模基础模型上评估其扩展行为仍是未来研究的重要方向。
| 评论： | 11 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10154 [cs.CL] |
| （或 arXiv:2610.10154v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10154 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhongping Ji [查看电子邮件]
[v1]
2026年10月7日星期三 14:33:35 UTC（87 KB）
来源：arXiv cs.CL · arxiv.org