arXiv cs.CL· Li-Ming Yu, Hongyu Zhou·· 10 小时前AI 评分24
GatedV：面向 Transformer 语言模型的自门控 Value 注意力变体
GatedV: Self-Gated Values for Transformer Language Models
AI 导读
GatedV 是一种不增加可训练参数的注意力变体，仅在聚合前对 V 施加 SiLU。在 2.33M 参数下，其平均留出困惑度从 59.1 降至 57.9（2.0%），五个配对种子均改善；在 26.16M 参数下从 20.2 降至 19.7（2.4%），三个配对种子均改善。NVIDIA DGX Spark 上的短程交错基准显示，较大模型全上下文前向延迟约高 0.7%。
正文 · AI 翻译
摘要：标准注意力通过输入隐藏状态的学习线性投影形成查询（Q）、键（K）和值（V）矩阵。GAU 和 Mega 等架构将非线性变换引入注意力。本文提出 GatedV，一种简单的注意力变体，仅在聚合前对 V 应用 SiLU，且不引入额外的可训练参数。我们在参数量匹配、初始化配对和训练 token 预算相等的条件下，将 GatedV 与标准仅解码器 Transformer 进行对比评估。在 2.33M 参数下，GatedV 将平均留出困惑度从 59.1 降至 57.9（2.0%），且在全部五个配对随机种子下均有改善。在 26.16M 参数下，经过等预算学习率搜索后，平均留出困惑度从 20.2 降至 19.7（2.4%），且在全部三个配对随机种子下均有改善。小模型消融实验表明，所测试的值仿射重缩放无法完全复现 GatedV 的增益。在 NVIDIA DGX Spark 上进行的一项简短交错基准测试，基于同步墙钟计时，测得较大模型的全上下文前向延迟约高出 0.7%。这些发现表明，仅对值进行自门控可以在不增加参数量或重新设计注意力加权机制的情况下提升语言建模性能。
| 评论： | 12 页，3 幅图。新增 Hongyu Zhou 为共同作者。代码和实验结果可在 此 https URL 获取 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02145 [cs.CL] |
| （或 arXiv:2611.02145v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.02145 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Li-Ming Yu [查看邮箱]
[v1]
2026 年 11 月 1 日周日 19:24:49 UTC（183 KB）
[v2]
2026 年 11 月 3 日周二 04:33:30 UTC（183 KB）
来源：arXiv cs.CL · arxiv.org