arXiv cs.AI· Junxian Li, Bin Shi, Erfei Cui, Hua Wei, Qinghua Zheng·· 3 天前AI 评分22
让 MLP 获得更多图信息：三阶段多任务知识蒸馏框架
Teaching MLP More Graph Information: A Three-stage Multitask Knowledge Distillation Framework
AI 导读
针对图神经网络在大规模图推理任务中时间和内存开销巨大的问题，研究者提出一种三阶段多任务知识蒸馏框架，通过 Positional Encoding 捕捉位置信息、引入 Neural Heat Kernels 并匹配隐藏层输出，将图知识蒸馏到学生 MLP。
正文 · AI 翻译
摘要：我们研究了图神经网络在大规模图数据集上进行推理任务时所面临的挑战性问题：巨大的时间和内存消耗，并试图通过减少对图结构的依赖来克服这一问题。尽管将图知识蒸馏到学生 MLP 是一个极好的想法，但它面临位置信息丢失和泛化能力低这两大问题。为了解决这些问题，我们提出了一种新的三阶段多任务蒸馏框架。具体而言，我们使用位置编码来捕获位置信息。此外，我们引入了负责 GNN 中图数据处理的神经热核，并利用隐藏层输出匹配来提升学生 MLP 隐藏层的性能。据我们所知，这是首个针对图上的学生 MLP 引入隐藏层蒸馏，并将图位置编码与 MLP 相结合的工作。我们在多种设置下测试了其性能和鲁棒性，并得出结论：我们的工作能够表现优异且具有良好的稳定性。代码实现见 此 https URL。
| 评论： | 20 页，含附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2403.01079 [cs.LG] |
| （或使用 arXiv:2403.01079v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2403.01079 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junxian Li [查看邮箱]
[v1]
2024年3月2日星期六 03:29:11 UTC（1,780 KB）
[v2]
2026年10月11日星期日 15:31:27 UTC（1,091 KB）
来源：arXiv cs.AI · arxiv.org