跳到正文
热点事件持续更新

学习优化器调度:状态耦合方式决定分布外泛化

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

M. Harper Langston 等作者发表论文,比较学习式优化器调度中状态进入调度的两种方式。他们通过展开经典求解器反向传播,为 MAX-CUT 连续惩罚松弛学习调度:状态自适应双线性调度在 15 个随机种子上优于未训练基线(t=4.1),实现分布外泛化;输入输出头相同的加性消融在分布内与双线性模型统计上无差异,分布外却劣于自身基线(t=-11.7)。 这一分离在无正则化下出现,并在 30 轮权重衰减扫描中持续存在。作者据此称,与分布外迁移相关的是求解器状态如何进入调度,而非状态自适应性本身。

AI 根据报道生成 · 53 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv cs.CL
    学习优化器调度中乘性与加性状态耦合的对比:双线性调度实现分布外泛化

    通过展开经典求解器反向传播为 MAX-CUT 连续惩罚松弛学习调度时,状态自适应双线性调度可分布外泛化,在 15 个随机种子上优于未训练基线(t=4.1);而输入输出头相同的加性消融在分布内与双线性模型统计上无差异,分布外却劣于自身基线(t=-11.7)。该分离在无正则化下出现,并在 30 轮权重衰减扫描中持续存在。结果表明,与分布外迁移相关的是求解器状态如何进入调度,而非状态自适应性本身。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。