arXiv cs.CL· Prasoon Dev, Anirudh Sankar, Vasudeva Varma·· 6 天前AI 评分22
MS-GLA：用多时间分辨率解决 Gated Linear Attention 表征瓶颈
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
AI 导读
研究者提出多尺度门控线性注意力 MS-GLA，将注意力头分配到多个时间分辨率上，粗粒度头组池化更长 token 跨度以捕捉长程依赖，细粒度头组保留局部句法敏感度，并通过可学习的输入依赖融合层动态重组各头组输出。在参数量匹配的情况下，MS-GLA 在语言建模、召回密集任务和长上下文泛化上均优于 GLA，召回密集任务最高提升 18.9%，语言建模基准平均困惑度降低 9.5%。
正文 · AI 翻译
摘要：门控线性注意力（GLA）Transformer 通过数据依赖的门控推进了线性循环模型，但面临一个核心局限：所有头部的固定容量记忆矩阵都在单一时间分辨率下运行，每个 token 被单独处理，迫使它们同时编码局部句法模式和长程语义结构，造成了一种仅靠门控不足以解决的表示瓶颈。我们提出了多尺度门控线性注意力（MS-GLA），通过将注意力头分布到多个时间分辨率上来解决这一问题。较粗的分辨率池化更长的 token 跨度，自然地专门化于长程依赖，而较细的头组则保持对局部句法结构的敏感性。一个可学习的、输入依赖的融合层在每个时间步动态地重新组合头组输出，在不增加每个头状态大小的情况下扩展了有效记忆容量。这种多分辨率分解借鉴了多尺度状态空间模型（MS-SSM）的原理，并将其适配到门控线性注意力设置中。我们在语言建模、召回密集型任务和长上下文泛化上评估了 MS-GLA。在所有设置中，MS-GLA 在匹配参数数量下始终比 GLA 取得更高的准确率和更低的困惑度，在召回密集型任务上提升高达 18.9%，在语言建模基准上平均困惑度降低 9.5%，验证了多时间分辨率分解作为门控线性注意力的一种有原则且有效的扩展。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.35664 [cs.CL] |
| （或 arXiv:2609.35664v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35664 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Prasoon Dev [查看电子邮件]
[v1]
2026年9月28日星期一 17:23:45 UTC（572 KB）
[v2]
2026年10月9日星期五 00:44:36 UTC（572 KB）
来源：arXiv cs.CL · arxiv.org