arXiv·· 13 天前AI 评分24
HLA：通过分块动态混合实现表达力更强的混合线性注意力
HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing
AI 导读
研究者提出混合线性注意力 HLA，一种面向 Gated DeltaNet（GDN）的查询相关分块级注意力机制，将每个已完成分块表示为精确的仿射状态，以缓解线性注意力压缩历史后难以选择性访问稀疏、远距离信息的问题。现有分块方法的分块混合系数往往与输入内容无关，无法按查询自适应调整历史访问，HLA 则让混合随查询动态变化。
来源：arXiv · arxiv.org