研究提出注意力手术的三项可复用检验

Basavaraj R M 等作者提出三项可复用检查，用于验证基于内部表示统计量的 Transformer 架构修改是否成立，并以自注意力移除为案例。所谓自注意力移除，是删除注意力头输出中与其自身值向量对齐的分量。 作者在九个预训练模型（共 5,408 个注意力头，参数规模 124M 至 6.9B）上检验，称早期位置的因果零模型可解释头-值余弦对齐的 48% 至 63%。这一比例是作者对零模型解释力的报告，并非已验证的修改效果。

AI 根据报道生成 · 55 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。