GatedV：仅对V施加SiLU的自门控注意力变体
热点事件持续更新
GatedV：仅对V施加SiLU的自门控注意力变体
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Li-Ming Yu 与 Hongyu Zhou 提出 GatedV，一种只在聚合前对 V 施加 SiLU、不增加可训练参数的注意力变体，并在小规模语言模型上报告了困惑度改善。 在 2.33M 参数下，平均留出困惑度从 59.1 降至 57.9（2.0%），五个配对种子均改善；在 26.16M 参数下从 20.2 降至 19.7（2.4%），三个配对种子均改善。作者称，在 NVIDIA DGX Spark 上的短程交错基准中，较大模型的全上下文前向延迟约高 0.7%。
AI 根据报道生成 · 50 分钟前更新
最新进展11月4日 13:00
GatedV：面向 Transformer 语言模型的自门控 Value 注意力变体报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CLGatedV：面向 Transformer 语言模型的自门控 Value 注意力变体
GatedV 是一种不增加可训练参数的注意力变体，仅在聚合前对 V 施加 SiLU。在 2.33M 参数下，其平均留出困惑度从 59.1 降至 57.9（2.0%），五个配对种子均改善；在 26.16M 参数下从 20.2 降至 19.7（2.4%），三个配对种子均改善。NVIDIA DGX Spark 上的短程交错基准显示，较大模型全上下文前向延迟约高 0.7%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。