竞争条件下自注意力机制的检索容量研究

研究通过保留每个注意力头、层和查询中注意力权重最高的 token 并保持原始权重不变，测量负对数似然（NLL）的增幅，以此估计在给定损失容忍度下所需的有效注意力集合大小。结果显示，相对较小的选择集即可让 NLL 接近全注意力基线。