arXiv cs.CL· Zekun Zhou, Ruobing Xie, Lanrui Wang, Weixuan Sun·· 3 天前AI 评分24
Hybrid Gated Attention（HyGA）：混合门控注意力框架
Hybrid Gated Attention
AI 导读
研究者提出 Hybrid Gated Attention（HyGA）框架，包含三种门控策略，从注意力多个阶段提取信息，协同构建 element-wise 与 head-wise 门控，捕捉头内与跨头信息交互。
正文 · AI 翻译
摘要：门控注意力是缓解注意力汇聚并增强注意力表征能力的有效方法。为了进一步扩展其有效性-效率的帕累托前沿，我们提出了混合门控注意力（HyGA）框架，其中包含三种门控策略。具体而言，这些门控利用来自注意力多个阶段的多样化信息，并从多个角度协同构建逐元素/逐头门控，捕捉头内和跨头的信息交互。通过我们的混合门控组件，HyGA 能够提供多源调制信号，从而实现对信息流更全面的控制，并提升注意力的表征能力。我们还引入了低秩矩阵分解和可学习的注意力汇聚，以进一步提升训练效率和稳定性。在实验中，我们基于不同骨干网络在广泛使用的基准上评估了 HyGA。实验结果表明，与门控注意力相比，我们的 HyGA 全面改善了训练损失和各种下游性能。HyGA 还被验证在不同计算成本下均能取得最佳性能，并通过全面的模型分析以加深理解。所提出的 HyGA 为更有效、高效且稳定的注意力机制提供了启示。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.11805 [cs.CL] |
| （或使用 arXiv:2608.11805v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.11805 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zekun Zhou [查看电子邮件]
[v1]
2026年8月12日星期三 08:46:50 UTC（1,214 KB）
[v2]
2026年10月14日星期三 06:45:28 UTC（214 KB）
来源：arXiv cs.CL · arxiv.org