混合注意力 LLM 的多语言能力研究

一项研究首次考察混合注意力机制对 LLM 多语言能力的影响。这类模型结合多种注意力变体以缓解传统 softmax 注意力的二次复杂度，研究关注其在长序列与分词效率较低语言上的表现，以及不同注意力设计的归纳偏置可能带来的差异。