arXiv cs.CL· Skye Gunasekaran, T\'ea Wright, Rui-Jie Zhu, Jason Eshraghian·· 14 小时前AI 评分31
SATFormer：让 Transformer 学会何时使用早期值残差
SATFormer: Learning When to Use Early Value Residuals in Transformers
AI 导读
SATFormer 通过上下文相关的门控控制第一层 value 通路 V_1 的访问，把早期表示复用建模为检索问题。在 130M 到 1.3B 参数的模型上，其验证损失和平均零样本准确率在四个规模上均优于静态值残差与 Transformer 基线，检索密集型基准上平均提升约 1.5 分，同时保持接近基线的吞吐与内存。
正文 · AI 翻译
摘要：近期的 Transformer 架构让较后的层能够访问较早层计算出的表示，其动机是观察到随着残差流在深度方向上被变换，低层特征可能变得更难恢复。其中一种方法添加静态值残差：学习到的混合系数，在所有 token 和头上统一地暴露第一层的值投影 V_1。然而，我们从理论上推断，$V_1$ 的有用性不太可能在 token、头和上下文之间保持恒定，因此将早期表示的复用视为一个检索问题。在此，我们引入选择性访问 Transformer（SATFormer），它保留第一层的值通路，同时通过上下文相关的门控来控制访问。在从 130M 到 1.3B 参数的模型中，SATFormer 在每个评估规模上都比静态值残差和 Transformer 基线改善了验证损失，并在所有四个规模上比两者都提高了平均零样本准确率。其最强的增益出现在检索密集型基准上，在那里它比静态值残差提高了约 1.5 个平均点，同时保持接近基线的吞吐量和内存。机制分析表明存在稀疏、深度相关、头特定且类别敏感的访问模式，这支持了 SATFormer 学习的是早期表示的选择性复用而非均匀残差复制的解释。我们的代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.03953 [cs.LG] |
| （或 arXiv:2605.03953v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.03953 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Skye Gunasekaran [查看电子邮件]
[v1]
2026 年 5 月 5 日星期二 16:38:29 UTC（338 KB）
[v2]
2026 年 5 月 6 日星期三 01:32:44 UTC（338 KB）
[v3]
2026 年 10 月 26 日星期一 17:34:32 UTC（342 KB）
来源：arXiv cs.CL · arxiv.org