arXiv cs.AI· Siqi Gu, Gaozhen Ma, Liheng Huang, Weiqi He, Jiawen Luo, Jiaming Wu, Lixin Zheng·· 12 小时前AI 评分34
DPR：解耦剪枝与重建，在紧凑核心上训练的双层稀疏化方法
Decoupled Prune-and-Reconstruct: Training on a Compact Core with Double-Layer Sparsification
AI 导读
DPR 提出“先剪枝提效、再重建补精度”的解耦框架，用同一紧凑节点集同时约束编码器训练图与推理锚点，由稀疏结构感知解码器重建被剪节点。30% 预算模型在单张 6 GB GPU 上以 1,450 MiB 峰值内存训练，恢复稠密重建参考的 96.9%，比同 GPU 的 DSpar 高 1.36 pp 且峰值训练内存低 50.1%。
正文 · AI 翻译
摘要：在百万节点图上，内存墙先于计算墙到来：一个永远无法装入 VRAM 的 GNN 无法兑现其精度所承诺的全节点推理。标准补救措施——剪枝——一直是一种精度税：一次付出，永不退还。DPR 拒绝这种框架。其核心洞见是，缩小训练规模的掩码也能搭建恢复的脚手架：一个紧凑的节点集同时约束图学习的两次计算，既作为编码器的训练图，又在推理时作为锚点，由稀疏的结构感知解码器据此重建每个被剪枝的节点（双层稀疏化）。顺序被颠倒——为效率而剪枝，再为精度而重建——并且这笔税被偿还：部署的 30% 预算模型在单块 6 GB GPU 上以 1,450 MiB 的峰值内存训练，并恢复了其稠密重建参考的 96.9%，在同一 GPU 上重跑边稀疏化基线 DSpar 时以低 50.1% 的峰值训练内存取得 +1.36 个百分点的优势；与同协议的全批量无剪枝编码器相比，部署点以 2.8 倍更小的训练占用付出了实测 2.64 个百分点的精度税。不做重建的剪枝在同样的 40 轮窗口内使编码器停留在 0.378（图 4），而全节点服务比基于采样的 GraphSAGE 快 46 倍，代价是约 5.4 个百分点的测试精度。该框架可扩展到 2.45M 节点的生产图，峰值训练内存为 6,285 MiB；扩展变体（长程上下文、外部文本特征、一个 CAN 总线应用）作为扩展报告，不与部署方法竞争，而 41.8% 预算的 M4 点是在粗化的超节点图上以其自身划分评分的，单独报告，不与原始节点基线比较。因此，DPR 将激进的节点剪枝从精度税转变为面向 VRAM 受限的全节点推理的安全训练加速器。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34140 [cs.LG] |
| （或本版本的 arXiv:2610.34140v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.34140 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siqi Gu [查看邮箱]
[v1]
2026 年 10 月 25 日星期日 08:20:30 UTC（490 KB）
来源：arXiv cs.AI · arxiv.org