arXiv cs.CL· Giyeong Oh, Sunghee Ahn, Youngjae Yu·· 12 小时前AI 评分26
Transformer MLP 中的读写耦合机制
Reader--Writer Coupling in Transformer MLPs
AI 导读
研究将 Transformer 的 MLP 层视为键值记忆，通过其更新 Jacobian 与转置的一致性定义每个通道的读写配对坐标。按该坐标排序，每个被测量的模块都存在一小群强耦合通道，且核心几乎全部为“对立”配对——writer 指向与 reader 响应方向相反。
正文 · AI 翻译
摘要：Transformer 的 MLP 为每个隐藏通道赋予两种角色：一个决定该通道何时响应的读取器，以及一个决定其向残差流回写内容的写入器。将其视为键值记忆时，该层可以一次只测量一组因子：读取器与写入器的配对仅由它们共享的索引承载，对于任何仅由单组因子计算出的量都不可见。然而训练通过联合更新将这两组因子耦合起来，因此我们追问：将它们放在一起解读会揭示什么。该模块提供了联合工具：MLP 回写到它读取的同一流中，因此其更新的精确雅可比矩阵是方阵，其与自身转置的一致性可分解为读取器—写入器项，这些项的内积为每个通道（作为一对来解读）给出一个有符号的配对坐标。按此坐标排序，我们测量的每个模块都有一个强耦合通道的小核心；在初始化对两种符号给予同等机会的情况下，该核心几乎全部是对立的：每个写入器都指向其读取器所响应方向的反方向。这一对立核心从从头训练的最小模型到已发布的检查点反复出现；其符号在训练进行到几个百分点时便已就位，并在耦合增长的过程中保持不变。作为成对来解读，大多数通道会针对触发它的读取器返回其贡献，而后续模块的读取器会将其接续；很少有通道体现在 logits 中。训练使这些成对关系保持原位：翻转对立的写入器会使输出向常见 token 移动，而将一个写入器置换到另一个读取器上时，该写入器会重新生长以适配该读取器，而读取器保持不变。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29340 [cs.LG] |
| （或本版本的 arXiv:2610.29340v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.29340 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sunghee Ahn [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 07:35:23 UTC（2,666 KB）
来源：arXiv cs.CL · arxiv.org