arXiv cs.CL· Xiaohan Qin, Xiangdong Zhang, Tuo Dai, Sunan Zou, Huaijin Wu, Yebin Yang, Zhuo Xia, Lin Yao, Yuliang Liu, Junchi Yan·· 6 天前AI 评分23
Multi-Stream Attention Residuals：面向大规模预训练的多流深度注意力残差架构
Multi-Stream Attention Residuals
AI 导读
研究者提出 Multi-Stream Attention Residuals（MSAR），将 Attention Residuals 扩展为多头深度注意力，通过多尺度因果卷积从序列上下文获取流多样性。
正文 · AI 翻译
摘要：注意力残差（AttnRes）实现了沿网络深度的内容相关检索，可视为沿深度轴的单流 softmax 注意力。受沿序列轴的多头注意力取得成功的启发，我们提出了多流注意力残差（MSAR），它是 AttnRes 的扩展，将该机制推广到多头深度注意力，以极小的额外开销带来显著的性能提升。MSAR 通过多尺度因果卷积从序列上下文中获取流多样性，使不同的头能够通过不同的上下文视角检索历史表示，同时保持隐藏表示的完整性。检索到的流通过轻量级自适应混合进行组合，以生成单流层输入。通过保留单流来源并按需扩展，MSAR 支持多流计算，而无需持久的多流存储或通信。在 18B 和 28B MoE 规模的全部 12 个下游基准上，MSAR 始终优于先前的残差变体，包括标准残差连接、流形约束超连接（mHC）和 AttnRes。缩放律实验相对于标准残差基线实现了 $1.58\times$ 的等损失计算加速，而 AttnRes 为 $1.35\times$，mHC 为 $1.30\times$。这些结果使 MSAR 成为大规模预训练中一种有前景的残差架构。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.13630 [cs.CL] |
| （或使用 arXiv:2610.13630v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.13630 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Xiaohan Qin [查看电子邮件]
[v1]
2026年10月9日星期五 14:13:02 UTC（480 KB）
来源：arXiv cs.CL · arxiv.org