研究者提出联邦自适应梯度校正方法 FA-GC

Evan Chen 等作者提出联邦自适应梯度校正方法 FA-GC，与只在最终更新方向上做校正的 FA-NT 不同，FA-GC 在梯度进入 Adam 等自适应优化器的滑动平均之前先做校正。 作者称，理论证明在无梯度噪声的理想设定下，FA-GC 的校正方向仅在全局目标驻点处消失，并对 Adam 族、梯度归一化和 Muon 给出不含客户端异质性项的收敛界。上述结论来自作者的证明与表述，尚未见独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。