跳到正文
RadarAI· Umesh Tharuka Malaviarachchi·· 12 小时前AI 评分20

频谱偏差:为什么神经网络先学习低频

AI 导读

神经网络存在频谱偏差,即拟合目标函数低频成分(平滑趋势)的速度远快于高频成分(剧烈波动)。这是梯度下降动力学的固有属性,而非训练缺陷。

正文 · AI 翻译

神经网络表现出谱偏置,即它们拟合目标函数的低频成分(平滑趋势)比拟合高频成分(尖锐波动)快得多,这是梯度下降动力学的基本性质,而非训练缺陷。

来源:RadarAI · bestblogs.dev