arXiv cs.AI· \'Alvaro Rodr\'iguez Abella, Jo\~ao Pedro Silvestre, Bahman Gharesifard, Paulo Tabuada·· 3 天前AI 评分23
从控制论视角看深度学习
Deep learning from a control vantage point
AI 导读
一篇综述从控制论视角梳理深度学习，涵盖前馈与残差网络、Transformer、大语言模型和选择性状态空间模型。文章指出残差网络可视为连续时间控制系统的离散化，Transformer 可视为共识算法的离散化，因此大语言模型表现出共识特性；反向传播与最优控制的联系也可在离散与连续时间模型间调和。
正文 · AI 翻译
摘要：本文从控制的视角概述了深度学习的最新进展。它回顾了几类模型，包括前馈和残差神经网络、Transformer、大语言模型以及选择性状态空间模型，同时解释了控制理论如何在理解它们的训练、性质或架构设计中发挥重要作用。文章解释了残差神经网络如何可以被解释为连续时间控制系统的离散化，从而使得能够使用控制理论技术对其进行分析。为了说明控制与深度学习之间这一桥梁的强大之处，讨论了两个技术结果：1）残差神经网络逼近任意连续函数的能力是一个非标准可控性问题，可以使用几何非线性控制来解决；2）Transformer，大多数大语言模型的关键架构组件，可以被视为共识算法的离散化，因此大语言模型表现出共识性。控制理论与深度学习之间的另一个接触点是反向传播（用于训练神经网络的算法）与最优控制之间的联系。文章讨论了这些问题之间较早的联系（在 80 年代使用离散时间模型建立）如何能够与最近使用连续时间模型的方法相协调。讨论了若干开放问题和未来研究方向，包括选择性状态空间模型，这是一类受控制中使用的模型启发的最新模型。
| 主题： | 系统与控制（eess.SY）；人工智能（cs.AI）；机器学习（cs.LG）；优化与控制（math.OC） |
| 引用为： | arXiv:2610.14385 [eess.SY] |
| （或 arXiv:2610.14385v1 [eess.SY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14385 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 期刊 参考： | IEEE Control Systems, vol. 46, no. 5, pp. 40-60, Oct. 2026 |
| 相关 DOI： | https://doi.org/10.1109/MCS.2026.3715420
链接到相关资源的 DOI |
提交历史
来自：João Pedro Silvestre [查看电子邮件]
[v1]
2026年10月9日星期五 23:11:07 UTC（1,915 KB）
来源：arXiv cs.AI · arxiv.org