arXiv cs.AI· Haonan Dong, Chun-Wun Cheng, Angelica I. Aviles-Rivero·· 2 天前AI 评分31
Product Interactions：统一深度学习架构的代数形式化方法
Product Interaction: An Algebraic Formalism for Deep Learning Architectures
AI 导读
研究者提出 Product Interactions 代数形式化方法，将乘法而非线性变换作为架构的基本操作，统一了卷积、注意力、状态空间和等变模型。该框架将卷积和等变网络推导为对称约束的一阶乘积交互，把 Mamba 恢复为自交互阶从一增至三，并将注意力确立为三阶交互。基于此构建的简化代数动力学层在 CIFAR-10 上同时提升了准确率和吞吐量，优于 Mamba。
正文 · AI 翻译
摘要：现代神经架构大多作为各自独立的经验性构造被开发出来，尽管在卷积、注意力、状态空间和等变模型中存在反复出现的原理。我们引入 Product Interactions，一种代数形式化方法，它将这些架构统一在一个共同的构造原理之下，并将其设计转变为系统化的流程。核心转变在于将数据表示为代数元素，并将乘法——而不仅仅是线性变换——视为一种原生的架构操作。架构通过组合乘法算子生成，输入依赖性由自相互作用阶数组织。在这一形式化框架内，我们将卷积网络和等变网络推导为受对称性约束的一阶乘积相互作用，将状态空间模型中的 Mamba 还原为自相互作用阶数从一增加到三，并将注意力确立为组合同一算子得到的三阶相互作用。等变性通过对称性约束代数乘积来纳入：平移等变性产生卷积，而 SO(3) 兼容性产生 Clebsch--Gordan 乘积和张量场相互作用。这一视角将架构设计重新表述为代数构造问题：代数的选择定义了可允许的相互作用，对称性约束其结构，而组合生成更高阶的架构。因此该框架是生成性的。遵循这些原则，我们构造了一个简化代数的动力学层，在 CIFAR-10 上相比 Mamba 同时提升了准确率和吞吐量。实验表明，相互作用阶数对准确率的影响是非单调的，而对称性约束提升了可学习性。Product Interactions 为分析现有架构和系统性地设计新架构提供了一种数学方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.02573 [cs.LG] |
| （或 arXiv:2602.02573v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02573 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Haonan Dong [查看电子邮件]
[v1]
2026年1月31日星期六 07:14:01 UTC（254 KB）
[v2]
2026年10月15日星期四 11:28:46 UTC（1,938 KB）
来源：arXiv cs.AI · arxiv.org