arXiv cs.AI· Zirui Peng, Yizhou Liu, Ziming Liu, Jeff Gore·· 9 天前AI 评分26
注意力机制中的非线性如何导致逆深度缩放
Emergent Inverse-Depth Scaling From Nonlinearity In Attention
AI 导读
研究发现，非线性注意力会导致损失随深度呈逆深度衰减，在所有测试的数据谱上均成立。非线性使注意力能选择性聚焦相关 token，让强、弱谱方向并行学习，这与线性注意力模型依赖全局谱强度、按强弱顺序学习的机制不同。作者据此提出，深度缩放可能源于注意力的非线性，使大语言模型能局部聚焦，从而让全局协方差结构变得不那么重要。
正文 · AI 翻译
摘要：缩放定律描述了模型性能随数据集规模和参数数量呈幂律提升，但其内在机制尚未被完全理解。为解释参数数量缩放，现有理论假设其随模型深度呈幂律缩放。在线性注意力模型中，这种缩放与幂律数据谱相关：由于无法选择性地关注相关 token，这些模型根据全局谱强度进行学习，较强的方向先于较弱的方向被学习。然而，大语言模型可能具有强非线性。在此，我们表明非线性注意力在所有测试的数据谱上都产生随深度反比衰减的损失。非线性使注意力能够选择性地聚焦于相关 token，从而让强和弱的谱方向并行学习。跨层类似的聚焦行为引出了与中心极限定理的联系：跨层共享的误差决定了损失平台，而聚合则将各层特有的差异转化为随深度持续增长的收益。我们的发现表明，深度缩放可能源于注意力中的非线性，这使大语言模型能够局部聚焦，并可能使全局协方差结构变得不那么重要。
| 评论： | 30 页，14 幅图，5 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11063 [cs.LG] |
| （或 arXiv:2610.11063v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11063 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zirui Peng [查看电子邮件]
[v1]
2026年10月8日星期四 01:23:54 UTC（2,292 KB）
来源：arXiv cs.AI · arxiv.org