arXiv cs.AI· Ivan Karpukhin, Andrey Savchenko·· 23 小时前AI 评分22
AlignedHPO:基于代理引导的高效损失超参数优化框架
AlignedHPO: Efficient Surrogate-Guided Loss Hyperparameter Optimization
AI 导读
AlignedHPO 是一个利用梯度对齐与代理验证目标来调优可微损失超参数的框架,通过 Jacobian-vector 乘积降低超梯度计算的时间与内存开销,并用归一化对齐和梯度平滑解决梯度幅值歧义与随机不稳定性。在 generalized Focal Loss 与 ArcFace 上的实验显示,该方法在长尾分类和开集人脸识别任务中性能与隐式微分相当或更优,超梯度计算速度提升近 12 倍。
正文 · AI 翻译
摘要:现代深度学习损失函数涉及多个超参数,例如权重、尺度和间隔,尽管它们可微,通常仍需要手动调优或通过昂贵的黑盒优化来调整。我们提出 AlignedHPO,这是一个利用梯度对齐和代理验证目标来高效调优可微损失超参数的框架。我们的方法采用雅可比-向量积来减少超梯度计算的时间和内存,同时可微的指标代理引导优化朝向任务特定的评估标准。我们通过归一化对齐和梯度平滑来解决梯度幅值歧义和随机不稳定性问题。使用广义 Focal Loss 和 ArcFace 的实验表明,该方法在长尾分类和开放集人脸识别中实现了有效适配。与隐式微分相比,AlignedHPO 取得了有竞争力或更优的性能,超梯度计算速度提升近 12 倍。这些结果凸显了高效代理引导的损失超参数优化的潜力。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22658 [cs.LG] |
| (或 arXiv:2611.22658v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22658 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ivan Karpukhin [查看电子邮件]
[v1]
2026年11月17日星期二 12:17:54 UTC(151 KB)
来源:arXiv cs.AI · arxiv.org