研究：加宽注意力头维度可提升长上下文检索

Seiya Tokui、Shoichiro Yamaguchi 与 Sosuke Kobayashi 发表论文，研究注意力头维度对长上下文检索性能的影响。作者称，在固定模型规模下，注意力头维度更宽可提升长上下文检索性能，而预训练损失和短上下文非检索任务表现基本不受影响。 研究还发现，宽头模型的检索头占比更高，把更多参数分配给检索；即使长上下文持续预训练时冻结注意力模块的投影权重，宽头仍能带来检索提升，作者据此认为宽头还促进了嵌入向量和 MLP 等组件的有效适配。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。