大语言模型注意力机制演进：机制、权衡与新兴趋势

一篇综述将 LLM 注意力机制的发展统一视为模型内部上下文记忆，并提出记忆表示、记忆更新、访问、读出与整合五个维度作为分析框架。文章指出，自注意力虽能提供细粒度、依赖查询的上下文访问，但密集 token 交互带来二次方预填充成本，且 KV cache 随上下文长度增长，因此研究覆盖显式记忆压缩、稀疏访问、循环状态构建、结构化状态动力学与异构机制组合等方向。