arXiv cs.AI· Pierre Quinton, Val\'erian Rey·· 11 小时前AI 评分31
Jacobian descent：面向多目标优化的梯度下降推广方法
Jacobian Descent for Multi-Objective Optimization
AI 导读
研究者提出 Jacobian descent（JD）及其随机变体，用向量值目标函数的 Jacobian 矩阵迭代更新参数，并通过投影梯度完全化解目标间冲突。该方法在光滑凸情形下被证明收敛到 Pareto 前沿，强于通常的弱 Pareto 稳定点收敛保证，还支持将每个训练样本损失视为独立目标的实例级风险最小化（IWRM）。
正文 · AI 翻译
摘要：许多优化问题需要在多个相互冲突的目标之间取得平衡。为了推广仅限于单目标优化的梯度下降，我们引入了雅可比下降（JD）及其随机变体。该算法利用向量值目标函数的雅可比矩阵迭代更新参数，其中每一行是单个目标的梯度。尽管文献中已经存在若干组合梯度的方法，但它们在目标相互冲突时通常难以奏效。相比之下，我们提出对梯度进行投影以完全解决冲突。我们证明，在光滑凸情形下，该方法收敛到帕累托前沿，这比通常收敛到弱帕累托稳定点更强的保证。我们的方法还实现了实例级风险最小化（IWRM），这是一种新的学习范式，其中每个训练样本的损失被视为一个单独的目标。在图像分类上的早期实验显示，IWRM 具有令人期待的结果。最后，我们利用雅可比矩阵的 Gram 矩阵提供了 JD 的高效实现，从而大幅降低内存需求。
| 评论： | 53 页，14 幅图，已被 NeurIPS 2026 接收（海报） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC） |
| 引用为： | arXiv:2406.16232 [cs.LG] |
| （或 arXiv:2406.16232v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2406.16232 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Valérian Rey [查看邮箱]
[v1]
2024 年 6 月 23 日星期日 22:06:25 UTC（3,231 KB）
[v2]
2024 年 10 月 4 日星期五 13:48:21 UTC（3,251 KB）
[v3]
2025 年 2 月 3 日星期一 12:29:44 UTC（10,351 KB）
[v4]
2026 年 10 月 19 日星期一 20:01:59 UTC（11,195 KB）
来源：arXiv cs.AI · arxiv.org