学习优化器调度中乘性与加性状态耦合的对比：双线性调度实现分布外泛化

Multiplicative vs. Additive State Coupling in Learned Optimizer Schedules

AI 导读

通过展开经典求解器反向传播为 MAX-CUT 连续惩罚松弛学习调度时，状态自适应双线性调度可分布外泛化，在 15 个随机种子上优于未训练基线（t=4.1）；而输入输出头相同的加性消融在分布内与双线性模型统计上无差异，分布外却劣于自身基线（t=-11.7）。该分离在无正则化下出现，并在 30 轮权重衰减扫描中持续存在。结果表明，与分布外迁移相关的是求解器状态如何进入调度，而非状态自适应性本身。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：我们通过对展开的经典求解器进行反向传播，学习 MAX-CUT 连续惩罚松弛的调度方案。一种状态盲调度可泛化到比训练所用实例大得多的实例。一种状态自适应双线性调度同样能泛化到分布外，在 15 个随机种子上优于其未训练基线（$t=4.1$）。相比之下，具有相同输入和输出头的加性消融在分布内与双线性模型在统计上无法区分，但在分布外表现劣于其自身基线（$t=-11.7$）。这种分离在没有正则化的情况下出现，并在 $30$ 轮权重衰减扫描中持续存在：双线性优势在每个测试值上仍然显著，而加性模型从未恢复。在此设定下，结果将求解器状态如何进入调度——而非仅状态自适应性——孤立为与分布外迁移相关的架构区别。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；数值分析（math.NA）；优化与控制（math.OC）
引用为：	arXiv:2610.32801 [cs.LG]
	（或 arXiv:2610.32801v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.32801 由 DataCite 颁发的 arXiv DOI（待注册）
期刊参考：	Neurips OPT-ML 2026 Workshop

提交历史

来自：M. Harper Langston [查看电子邮件]
[v1] 2026年10月23日星期五 15:40:23 UTC（1,177 KB）

来源：arXiv cs.CL · arxiv.org