arXiv cs.AI· Adarsh Jamadandi, Nicolas Keriven·· 6 天前AI 评分22
离散图扩散模型被曝秘密记忆训练图：条件记忆现象首次被揭示
Your Discrete Graph Diffusion Model is Secretly Memorizing
AI 导读
研究发现离散图扩散模型（GDM）确实存在记忆现象，作者将其命名为"条件记忆"：在双块随机块模型（SBM）上训练的 GDM，当反向扩散轨迹以被噪声破坏的训练图为条件时，几乎能完美恢复该训练图，而测试图则无法恢复，且该现象在常规推理中并不显现。记忆的出现总是早于生成图中社区结构的形成，因此此前所有检查点生成的图都无结构；这一行为伴随泛化差距扩大，早停无法缓解，并在所有测试节点规模上成立。
正文 · AI 翻译
摘要：离散图扩散模型（GDM）通过在马可夫噪声模型下向节点和边独立添加噪声来破坏图结构。在无节点特征的无条件设置下，在单个图上训练得到的等变去噪器能够生成新图，且边重叠和 WL 核相似度等样本级指标未发现记忆化的证据。在本工作中，我们挑战这一观点，并首次表明图扩散模型确实存在记忆化。通过分析在两个块随机块模型（SBM）上训练的 GDM 的反向扩散轨迹，我们发现存在强烈的训练数据偏差：与留出的测试图相比，模型几乎完美地恢复了被破坏的训练图。我们将其称为条件记忆化，因为它仅在反向轨迹以被破坏的训练图为条件时才会显现，而在推理过程中并不明显。它与不断扩大的泛化差距同时出现，即训练损失改善的同时留出图上的损失却在恶化，且无法通过早停来缓解。记忆化的出现总是先于生成图中社区结构的出现，因此此前每一个检查点都会生成无结构的图。在我们测试的所有节点规模下，这一行为都成立。
| 评论： | 被 NeurIPS 2026 Workshop BeNTo: Beyond Next Token Prediction 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13786 [cs.LG] |
| （或使用 arXiv:2610.13786v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.13786 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Adarsh Jamadandi [查看邮箱]
[v1]
2026年10月9日星期五 16:04:06 UTC（316 KB）
来源：arXiv cs.AI · arxiv.org