SATFormer提出门控复用首层value通路
热点事件持续更新
SATFormer提出门控复用首层value通路
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
Skye Gunasekaran等作者提出选择性访问Transformer（SATFormer），在保留第一层value通路V_1的同时，用上下文相关的门控控制对它的访问，把早期表示复用建模为检索问题。 作者称，在130M到1.3B参数的模型上，SATFormer的验证损失和平均零样本准确率在四个规模上均优于静态值残差与Transformer基线，检索密集型基准平均提升约1.5分，吞吐与内存接近基线。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
SATFormer：让 Transformer 学会何时使用早期值残差报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- arXiv cs.CLSATFormer：让 Transformer 学会何时使用早期值残差
SATFormer 通过上下文相关的门控控制第一层 value 通路 V_1 的访问，把早期表示复用建模为检索问题。在 130M 到 1.3B 参数的模型上，其验证损失和平均零样本准确率在四个规模上均优于静态值残差与 Transformer 基线，检索密集型基准上平均提升约 1.5 分，同时保持接近基线的吞吐与内存。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。