动态短卷积提升Transformer语言建模效率

Oliver Sieberling等作者提出把输入相关的动态短卷积作为Transformer的新原语，并在150M至2B参数的语言建模实验中称其持续优于标准Transformer和静态短卷积版本。 该结果来自一篇NeurIPS 2026论文，作者将动态短卷积定位为可加入Transformer的额外神经网络原语；上述比较优势是论文报告的结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。