跳到正文
arXiv cs.AI· Yihan Wang, N. Asokan·· 10 小时前AI 评分52

研究提出填充式抽取方法,揭示扩散语言模型训练数据泄露被低估

Extracting Training Data from Diffusion Language Models via Infilling

AI 导读

Yihan Wang 与 N. Asokan 提出填充式抽取(infilling extraction)协议,用任意二值掩码刻画扩散语言模型的双向记忆,指出仅做前缀探测会显著低估训练数据抽取风险。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型中的记忆现象几乎仅通过前缀条件提取进行研究,这对自回归模型而言是自然的选择。然而,扩散语言模型(DLM)可以对任意位置的掩码 token 进行去噪。因此,仅前缀探测只揭示了 DLM 中记忆的一个侧面,并显著低估了训练数据提取的风险。为了更真实地建模 DLM 中训练数据的可提取性,我们引入了填充提取(infilling extraction),这是一种由任意二值掩码参数化的数据提取协议,它涵盖了仅前缀探测,并考虑了 DLM 的双向归纳偏置。我们在 LLaDA-8B 和 Dream-7B 上,跨五种提取模式、三种训练流程以及三个涵盖逐字和部分泄漏的语料库实例化该协议,发现掩码几何结构决定了可提取性:边缘条件掩码提取的逐字序列比前缀条件掩码最多多三倍,且双向访问打开了自回归模型中无法访问的通道。特别地,获得训练数据 PII 脱敏副本的对手可以使用定向填充,在微调后的 DLM 上将 PII 召回率比前缀条件提取提高 2.5-4.5 倍,大幅缩小与规模匹配的自回归模型的差距,并且对于 LLaDA 在电子邮件地址上,在贪心前缀条件提取下超过后者。解码的可调参数可测量地影响提取性能,而后续的监督微调阶段并不能消除先前的记忆。
评论: NeurIPS 2026
主题: 计算与语言(cs.CL);人工智能(cs.AI);密码学与安全(cs.CR);机器学习(cs.LG)
引用为: arXiv:2605.24173 [cs.CL]
  (或此版本的 arXiv:2605.24173v2 [cs.CL])
  https://doi.org/10.48550/arXiv.2605.24173

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yihan Wang [查看电子邮件]
[v1] 2026年5月22日星期五 19:46:08 UTC(361 KB)
[v2] 2026年11月18日星期三 16:50:39 UTC(364 KB)

来源:arXiv cs.AI · arxiv.org