arXiv cs.CL· Zihao Zhao, Avi Schwarzschild, Casey Meehan, Katherine Lee, Zhili Feng, Dylan Sam·· 11 小时前AI 评分31
合成医疗记录的隐私实证研究：隐私感知改写优于 DP-SGD 与直接微调
Exploring The Empirical Privacy Landscape of Synthetic Data
AI 导读
一项受控对比研究在带 canary 探针的合成医疗记录上比较了数据级与训练级干预的能力-隐私权衡：直接微调能力指标最好但隐私泄漏最多，DP-SGD 显著降低泄漏却以能力大幅下降为代价。用唯一性感知指令引导生成合成数据、以隐私感知改写替代朴素复述，可在多种改写模型上提升隐私保护。能力更强的改写模型通常降低下游隐私泄漏风险，但留出集拟合并非单调改善，增加测试时计算带来的收益也不稳定。
正文 · AI 翻译
摘要：在敏感数据上训练语言模型的方法，在能力提升与隐私信息泄露风险之间的权衡方式上各有不同。本文对数据层面和训练层面的干预方法进行了受控比较，以合成医疗记录并植入金丝雀来探测泄露，从而在能力与隐私之间进行权衡。直接微调在能力指标上表现最佳，但导致的隐私泄露最多；而 DP-SGD 虽能减少泄露，却以能力的大幅损失为代价。从这些记录生成合成数据能提供更有利的平衡，尤其是在以替换隐私细节为目标的唯一性感知指令引导下。相对于朴素改写，隐私感知重写在多种不同的重写模型中都能提升隐私保护。我们还发现，能力更强的重写模型通常能降低下游隐私泄露的风险，尽管留出集拟合并非单调改善，且增加测试时计算量带来的收益并不一致。总体而言，这些结果凸显出隐私感知重写是一条有前景的方向，相比其他训练层面方法，能在能力与经验隐私之间实现更有利的权衡；我们的评估框架支持对未来模型和方法进行比较。
| 学科： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22659 [cs.CR] |
| （或 arXiv:2610.22659v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22659 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zihao Zhao [查看邮箱]
[v1]
2026年10月15日 星期四 21:22:35 UTC（560 KB）
来源：arXiv cs.CL · arxiv.org