arXiv cs.AI· Michela Lapenna, Rita Fioresi, Bahman Gharesifard·· 10 天前AI 评分22
Sinkhorn 双随机注意力秩衰减分析
Sinkhorn doubly stochastic attention rank decay analysis
AI 导读
研究发现，用 Sinkhorn 算法归一化的双随机注意力矩阵比标准 softmax 行随机注意力更能有效保持秩，缓解 Transformer 随深度加深的秩坍缩问题。作者在情感分析和图像分类任务上验证了这一现象，并推导出纯自注意力下 Sinkhorn 归一化的秩衰减理论上界：秩随深度呈双指数衰减至 1，与 softmax 已有结论一致。
正文 · AI 翻译
摘要：自注意力机制是 Transformer 架构成功的核心。然而，标准行随机注意力已被证明会在各层之间遭受显著的信号退化。特别是，它可能引发秩坍缩，导致 token 表示日益趋同，以及熵坍缩，其特征是注意力分布高度集中。近期工作强调了双随机注意力作为一种熵正则化形式的优势，它促进更均衡的注意力分布并带来更好的实证性能。在本文中，我们研究了跨网络深度的秩坍缩，并表明使用 Sinkhorn 算法归一化的双随机注意力矩阵比标准 softmax 行随机注意力矩阵更能有效地保持秩。正如先前对 softmax 所展示的，跳跃连接对于缓解秩坍缩至关重要。我们在情感分析和图像分类任务上实证验证了这一现象。此外，我们推导了使用 Sinkhorn 归一化时纯自注意力秩衰减的理论界，并发现秩随深度以双指数方式衰减至一，这一现象已在 softmax 中被证明。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2604.07925 [cs.LG] |
| （或 arXiv:2604.07925v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2604.07925 arXiv 颁发的 DOI，经由 DataCite |
|
| 期刊 参考： | Transactions on Machine Learning Research (TMLR), 2026, https://openreview.net/forum?id=fGItYoS8j1 |
提交历史
来自：Michela Lapenna [查看邮箱]
[v1]
2026年4月9日星期四 07:46:18 UTC（739 KB）
[v2]
2026年10月6日星期二 10:16:43 UTC（765 KB）
来源：arXiv cs.AI · arxiv.org