Andreas Kirsch 质疑 RoPE 是否只是注意力中的邻近偏置

Andreas Kirsch 提出疑问：Rotary Position Embeddings（RoPE）是否只是在注意力机制中制造了一种邻近偏置。他进一步推测，随着训练推进，模型可能通过 MLP 层学会“解开”位置旋转，届时 RoPE 或将变得不再必要。