arXiv cs.AI· Gage DeZoort, Boris Hanin·· 10 小时前AI 评分26
图神经网络中的超参数迁移
Hyperparameter Transfer in Graph Neural Networks
AI 导读
研究为图神经网络（GNN）提出并验证了一套超参数迁移参数化方案，适用于 SGD、Adam 和 AdamW 三种优化器，可在宽度和深度增加时实现稳定的特征更新与学习率迁移。针对 SGD，作者识别出依赖图结构的第一层修正因子，可加速稀疏 bag-of-words 输入图的早期训练；针对 Adam，分析了不同消息传递归一化对训练前后期迁移行为的影响。该工作被 LoG 2026 接收。
正文 · AI 翻译
摘要：深度学习模型的性能关键取决于学习率、初始化尺度、权重衰减等超参数的设置。超参数迁移旨在使接近最优的超参数设置在不同模型规模间保持一致，从而可以通过对更小、更易优化的对应模型进行代理调优来优化大模型。虽然迁移原理在语言和视觉任务的稠密神经网络背景下已得到充分研究，但在图神经网络（GNN）中相对而言仍探索不足。我们针对使用 SGD、Adam 和 AdamW 训练的 GNN 开发并验证了一种迁移参数化方法。通过理论缩放分析和受控实验，我们表明所提出的参数化方法能够产生稳定的特征更新、学习率迁移，并随着宽度和深度的增加提升性能。对于 SGD，我们识别出依赖于图的第一层校正因子，并表明使用这些因子可以加速具有稀疏词袋输入的图的早期训练。对于 Adam，我们探讨了不同的消息传递归一化如何影响早期和晚期训练的迁移行为，说明了消息传递归一化的重要性，并倡导引入一个相关的超参数。对于 AdamW，我们采用了一种允许权重衰减和学习率联合迁移的参数化方法。这些结果共同为在各种学习任务和训练场景中扩展 GNN 提供了实用方案。
| 评论： | 正式版，已被第五届图学习会议（LoG 2026）接收，PMLR 338 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.05017 [cs.LG] |
| （或 arXiv:2607.05017v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05017 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gage DeZoort [查看邮箱]
[v1]
2026年7月6日星期一 12:59:18 UTC（197 KB）
[v2]
2026年11月3日星期二 20:53:07 UTC（256 KB）
来源：arXiv cs.AI · arxiv.org