学习优化器调度:状态耦合方式决定分布外泛化
热点事件持续更新
学习优化器调度:状态耦合方式决定分布外泛化
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
M. Harper Langston 等作者发表论文,比较学习式优化器调度中状态进入调度的两种方式。他们通过展开经典求解器反向传播,为 MAX-CUT 连续惩罚松弛学习调度:状态自适应双线性调度在 15 个随机种子上优于未训练基线(t=4.1),实现分布外泛化;输入输出头相同的加性消融在分布内与双线性模型统计上无差异,分布外却劣于自身基线(t=-11.7)。 这一分离在无正则化下出现,并在 30 轮权重衰减扫描中持续存在。作者据此称,与分布外迁移相关的是求解器状态如何进入调度,而非状态自适应性本身。
AI 根据报道生成 · 53 分钟前更新
最新进展10月26日 12:00
学习优化器调度中乘性与加性状态耦合的对比:双线性调度实现分布外泛化报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv cs.CL学习优化器调度中乘性与加性状态耦合的对比:双线性调度实现分布外泛化
通过展开经典求解器反向传播为 MAX-CUT 连续惩罚松弛学习调度时,状态自适应双线性调度可分布外泛化,在 15 个随机种子上优于未训练基线(t=4.1);而输入输出头相同的加性消融在分布内与双线性模型统计上无差异,分布外却劣于自身基线(t=-11.7)。该分离在无正则化下出现,并在 30 轮权重衰减扫描中持续存在。结果表明,与分布外迁移相关的是求解器状态如何进入调度,而非状态自适应性本身。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。