跳到正文
热点事件持续更新

研究揭示仅训练偏置的ReLU网络训练动力学

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Shreyas Chaudhari 与 Jose M. F. Moura 提交论文,研究单隐层 ReLU 网络在权重随机初始化并固定、仅训练偏置时的训练动力学。研究指出,偏置梯度对每个输入的依赖只通过激活编码体现;激活编码不变时,训练等价于以编码为特征的线性最小二乘问题,激活状态改变时则切换到下一个最小二乘问题。 网络越宽,切换神经元的比例越小;在无限宽极限下,动力学趋近于初始激活编码上的线性最小二乘。作者称实验与理论一致。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    ReLU 网络仅训练偏置时的动力学研究

    研究揭示,单隐层 ReLU 网络在权重随机初始化且固定、仅训练偏置时,偏置梯度对每个输入的依赖只通过其激活编码体现,激活编码不变时训练等价于以编码为特征的线性最小二乘问题。训练因此可视为一系列最小二乘问题的序列,神经元激活状态改变时发生切换。网络越宽,切换神经元的比例越小,无限宽极限下动力学趋近于初始激活编码上的线性最小二乘,实验与理论一致。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。