arXiv cs.AI· Haroon Gharwi, Kai Shu, Yue Dai·· 11 小时前AI 评分24
AnchorRM:面向时序图神经网络的批内并行状态重建与锚点残差记忆
AnchorRM: Parallel Intra-Batch State Reconstruction with Anchor-Based Residual Memory for Temporal Graph Neural Networks
AI 导读
AnchorRM 用锚点残差记忆机制重建批内事件级节点状态,无需顺序执行循环更新,从而解决时序小批量中节点记忆陈旧的问题。在四个时序图数据集和三种记忆型骨干上,训练平均加速 6.16 倍(最高 10.05 倍),批大小扩展达 28.67 倍(最高 40 倍),同时保持有竞争力的预测性能。
正文 · AI 翻译
摘要:基于记忆的时间图神经网络(TGN)依赖循环节点记忆来捕捉不断演化的交互历史。然而,时间小批量处理在计算效率与时间保真度之间引入了权衡:当同一节点在同一批次内多次出现时,后续交互会使用过时的批前记忆进行评估,因为中间的记忆更新尚未提交。随着时间批次大小的增加,这一问题会变得更加严重。为克服这一挑战,我们提出了 AnchorRM,一种基于锚点的残差记忆机制,它无需执行顺序循环更新即可重建事件特定的批内节点状态。AnchorRM 将每个批次开始时最后提交的节点记忆视为批前固定锚点,并利用因果上先行的同批次交互来推断相对于该锚点的缺失状态演化。随后,学习到的残差会校准锚点,从而为每次交互重建事件特定的节点记忆。由于每个事件特定的残差都是直接从固定锚点及其因果历史预测得到的,重建状态不依赖于先前重建的状态,因此可以在批次内并行计算,同时保持时间因果性。在四个时间图数据集和三个基于记忆的骨干网络上进行的实验表明,AnchorRM 实现了平均 6.16 倍的训练加速(最高达 10.05 倍)和 28.67 倍的批次扩展(最高达 40 倍)。这些结果表明,AnchorRM 在保持有竞争力的预测性能的同时,显著提升了基于记忆的时间图学习的可扩展性和训练效率。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.27558 [cs.LG] |
| (或 arXiv:2610.27558v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.27558 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Haroon Gharwi [查看电子邮件]
[v1]
2026年10月20日星期二 03:15:16 UTC(126 KB)
来源:arXiv cs.AI · arxiv.org