跳到正文
arXiv cs.AI· Shreyas Chaudhari, Jose M. F. Moura·· 10 小时前AI 评分18

ReLU 网络仅训练偏置时的动力学研究

Bias-Only Training Dynamics in ReLU Networks

AI 导读

研究揭示,单隐层 ReLU 网络在权重随机初始化且固定、仅训练偏置时,偏置梯度对每个输入的依赖只通过其激活编码体现,激活编码不变时训练等价于以编码为特征的线性最小二乘问题。训练因此可视为一系列最小二乘问题的序列,神经元激活状态改变时发生切换。网络越宽,切换神经元的比例越小,无限宽极限下动力学趋近于初始激活编码上的线性最小二乘,实验与理论一致。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:具有随机初始化、固定权重和可训练偏置的神经网络是通用逼近器,但仅训练偏置的动力学在很大程度上仍未被探索。我们通过激活码——将输入空间划分为凸多面体区域的活跃神经元的二值模式——来研究单隐藏层 ReLU 网络中的这些动力学。我们表明,关于偏置的梯度仅通过每个输入的激活码依赖于该输入,因此训练动力学可以用这些激活码来刻画。特别地,只要激活码保持不变,训练就简化为以这些码为特征的线性最小二乘问题。于是训练可以理解为一连串最小二乘问题,当神经元改变其激活状态时发生转换。我们表明,切换神经元的比例随网络变宽而消失,并且在无限宽度极限下,训练动力学趋近于初始激活码上的线性最小二乘动力学。我们的实验支持这些理论发现,表明虽然激活切换在较窄的网络中会显著影响训练,但随着宽度增加,其相对频率以及相关的动力学变化会减弱。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.24797 [cs.LG]
  (或 arXiv:2611.24797v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24797

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Shreyas Chaudhari [查看电子邮件]
[v1] 2026年11月18日星期三 17:41:18 UTC(113 KB)

来源:arXiv cs.AI · arxiv.org