AI 模型注意力机制演进：从全局注意力到稀疏注意力

大语言模型在长对话中卡顿、成本高昂的根源在于全局注意力机制处理海量历史记录时效率低下。开源大模型近年转向混合注意力、线性注意力和稀疏注意力，通过局部或稀疏化处理降低计算开销。