Hacker News· E-Reverance·· 8 天前AI 评分27
Residual Matrix Transformers：扩大残差流规模的 RMT 架构
Residual Matrix Transformers: Scaling the Size of the Residual Stream
AI 导读
研究者提出 Residual Matrix Transformer（RMT），用外积记忆矩阵替换 Transformer 的残差流，使残差流规模可与计算量和模型规模独立扩展。RMT 以少 58% FLOPS、25% 参数和 41% 训练 token 达到与 Transformer 相同的损失，并在下游评测中表现更优。该工作已被 ICML 2025 接收，代码已开源。
正文 · AI 翻译
摘要：残差流充当内存总线，transformer 层在其中既存储又访问特征（Elhage et al., 2021）。我们考虑改变残差流中检索和存储信息的机制，并将 transformer 的残差流替换为外积记忆矩阵（Kohonen, 1972, Anderson, 1972）。我们将此模型称为残差矩阵 Transformer（RMT）。我们发现 RMT 具有许多吸引人的特性：1）残差流的大小可以独立于计算量和模型大小进行扩展，从而提高性能；2）RMT 可以在 FLOPS 减少 58%、参数减少 25%、训练 token 减少 41% 的情况下达到与 transformer 相同的损失；3）RMT 在下游评估中优于 transformer。我们从理论上分析了 transformer 和 RMT，并表明 RMT 允许更高效地扩展残差流，以及改进的方差传播特性。本项目的代码可在 此 https URL 找到。
| 评论： | 已被 ICML 2025 接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2506.22696 [cs.LG] |
| （或 arXiv:2506.22696v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2506.22696 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Brian Mak [查看电子邮件]
[v1]
2025 年 6 月 28 日星期六 00:29:42 UTC（1,898 KB）
来源：Hacker News · arxiv.org