跳到正文
arXiv·· 13 天前AI 评分27

差分隐私混合公共数据集提升私有学习效果

Differentially Private Mixing of Public Datasets Improves Private Learning

AI 导读

研究者提出首个能在差分隐私(DP)下学习多个公共数据集混合权重的流程,用于为特定敏感下游任务预训练模型。该方法针对公共数据集与敏感数据相关性决定预训练效果的问题,在DP微调前先私有地学习公共数据混合比例,以缓解DP训练带来的模型效用下降。

来源:arXiv · arxiv.org