Kirsch 质疑 RoPE 或仅是邻近偏置

Andreas Kirsch 提出疑问：Rotary Position Embeddings（RoPE）是否只是在注意力机制中制造了一种邻近偏置。他进一步推测，随着训练推进，模型可能通过 MLP 层学会“解开”位置旋转，届时 RoPE 或将变得不再必要。 上述均为 Kirsch 个人提出的疑问与推测，报道未给出验证结果或实验证据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。