arXiv cs.CL· Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim·· 14 小时前AI 评分34
动态短卷积提升 Transformer 性能
Dynamic Short Convolutions Improve Transformers
AI 导读
一篇 NeurIPS 2026 论文提出用输入相关的动态短卷积作为 Transformer 的新原语，在 150M 至 2B 参数的语言建模实验中持续优于标准 Transformer 及静态短卷积版本。
正文 · AI 翻译
摘要：Transformer 已成为大语言模型的主流架构，这在很大程度上归功于注意力、前馈层、残差连接和归一化的可扩展性与灵活性。本文引入动态短卷积，作为一种额外的神经网络原语，用于改进 Transformer。与静态短卷积不同，动态卷积使用依赖输入的滤波器，从而在保留卷积局部性偏置的同时提升表达能力。动机实验表明，与静态卷积变体相比，将动态短卷积应用于键、查询和值表示，可在具有挑战性的关联召回任务上提升性能。在从 150M 到 2B 参数的语言建模实验中，动态卷积始终优于标准 Transformer 以及使用静态短卷积增强的 Transformer。拟合缩放定律表明，当动态卷积应用于键、查询和值向量时，相比计算量匹配的 Transformer 具有 1.33$\times$ 的计算优势；当在每个线性层之后添加动态卷积时，优势为 1.60$\times$。动态卷积还在线性 RNN（Mamba-2/Gated DeltaNet）和混合专家架构上带来改进。我们通过自定义 Triton 内核使这些收益变得实用，这些内核能够实现高效训练，且端到端减速可控。这些结果表明，动态短卷积是一种可扩展、硬件高效且富有表现力的原语，可用于推进基于 Transformer 的语言模型。
| 评论： | NeurIPS 2026。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.03825 [cs.LG] |
| （或 arXiv:2606.03825v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.03825 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Oliver Sieberling [查看邮箱]
[v1]
2026年6月2日星期二 16:07:55 UTC（88 KB）
[v2]
2026年10月26日星期一 01:32:41 UTC（88 KB）
来源：arXiv cs.CL · arxiv.org