跳到正文
arXiv cs.AI· Kareem Amin, Rudrajit Das, Alessandro Epasto, Adel Javanmard, Dennis Kraft, M\'onica Ribero, Sergei Vassilvitskii·· 10 小时前AI 评分37

Phantoms and Disclosures:一个审计合成数据隐私的统计框架

Phantoms and Disclosures: A Statistical Framework for Auditing Privacy in Synthetic Data

AI 导读

研究者提出一个可定制的实证审计框架,用于检测并解释合成数据生成中的隐私泄露,并区分系统直接复现用户信息的“真实泄露”与偶然生成用户数据的“幻影泄露”。该方法将数据划分为训练集与留出集,通过严格统计假设检验判断观测到的泄露是否符合零学习或特定 DP 边界等隐私基线,无需模型访问、canary 插入或参考模型训练。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式 AI 和大语言模型(LLM)的快速采用,激发了人们对合成数据的兴趣,将其视为敏感真实世界数据集的隐私保护替代方案。然而,生成高实用性的合成数据往往伴随着记忆并复述训练语料中私人信息的风险。在这项工作中,我们提出了一个可定制的经验审计框架,旨在检测并解释此类数据泄露。我们的框架引入了一种机制,用于区分“真实泄露”——系统直接复现用户信息——和“幻影泄露”——系统偶然生成用户数据。通过将输入数据划分为训练集和留出集,并应用严格的统计假设检验,我们判断观察到的泄露是否与严格的隐私基线(如零学习或特定的差分隐私(DP)界限)一致。关键在于,该方法无需模型访问、无需插入金丝雀、无需训练参考模型——只需合成输出和一个留出的控制集。我们证明,该框架有效地充当了成员推断攻击,提供了比先前基于数据的审计方法更紧的隐私泄露经验下界。我们的方法与模型无关,适用于任何合成数据生成机制,并且所需的计算资源比影子模型或基于金丝雀的替代方案少数个数量级。
评论: 36 页,10 张表,5 张图
主题: 机器学习(cs.LG);人工智能(cs.AI);应用(stat.AP);方法论(stat.ME);机器学习(stat.ML)
引用为: arXiv:2606.16952 [cs.LG]
  (或 arXiv:2606.16952v3 [cs.LG] 获取此版本)
  https://doi.org/10.48550/arXiv.2606.16952

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Adel Javanmard [查看邮箱]
[v1] 2026 年 6 月 15 日星期一 16:54:02 UTC(101 KB)
[v2] 2026 年 7 月 20 日星期一 23:44:56 UTC(101 KB)
[v3] 2026 年 11 月 4 日星期三 16:45:51 UTC(100 KB)

来源:arXiv cs.AI · arxiv.org