arXiv cs.AI· Phani Kumar, Nyshadham, Jyothendra Varma, Polisetty V R K·· 14 小时前AI 评分18
NoiseFormer：噪声扩散对称注意力 Transformer
NoiseFormer -- Noise Diffused Symmetric Attention Transformer
AI 导读
研究者提出 NoiseFormer（Noise Diffused Symmetric Attention Transformer），在保留 Symmetric Attention 内存优势的前提下，以少量参数和计算开销引入噪声扩散注意力，弥补其相对常规注意力的性能损失。论文通过推理时采样和下游任务 GLUE 分数验证了性能恢复效果。
正文 · AI 翻译
摘要：Transformer 架构凭借其强大的基于注意力的学习和并行特性架构，一直是深度学习（DL）和大语言模型（LLM）领域长期成功的领跑者。随着模型在内存占用方面变得极其庞大，将模型适配到 GPU 或 AI 加速器等设备上的困难催生了对多计算设备的需求，从而推高了计算成本。这种训练/推理成本的增加，为从激活内存以及模型规模缩减两方面优化模型的内存占用铺平了道路。在本文中，我们首先分析一种旨在缩减模型规模的注意力架构，称为对称点积注意力（简称对称注意力），并提出一种新颖的统一模型架构，称为噪声扩散对称注意力 Transformer，以提升模型性能。在保持对称注意力的内存收益的同时，以噪声扩散注意力的形式在模型参数和计算上仅带来微小开销，所提出的模型弥补了对称注意力相较于传统注意力所造成的性能损失，这一点通过推理时采样和下游任务上的 GLUE 分数得到了体现。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.11619 [cs.LG] |
| （或 arXiv:2601.11619v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.11619 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Phani Kumar Nyshadham [查看电子邮件]
[v1]
2026年1月10日星期六 14:10:48 UTC（537 KB）
[v2]
2026年10月26日星期一 02:26:42 UTC（506 KB）
来源：arXiv cs.AI · arxiv.org