LinearARD：线性内存注意力蒸馏恢复RoPE

Ning Yang 等作者提出 LinearARD，一种恢复式注意力蒸馏方法：以冻结的原生 RoPE 教师模型为参照，对齐其最终注意力层的 Q/Q、K/K、V/V 自关系矩阵行分布，把经 RoPE 缩放的学生模型恢复至长上下文能力。作者称该方法仅需 1.6% 的 token 预算。 该方法针对的是 RoPE 缩放后学生模型长上下文能力下降的问题，做法是让学生模型在注意力结构上与教师保持一致，而非重新训练位置编码。

AI 根据报道生成 · 43 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。