arXiv cs.AI· Andrada Gobeaja, Ionut Hodoroaga, Marius Leordeanu, Elena Burceanu·· 3 天前AI 评分22
idSCD：通过语义相关描述符识别训练数据集
idSCD: Identifying Training Datasets through Semantic Correlation Descriptors
AI 导读
研究者提出 idSCD，一种基于语义相关描述符（SCD）的白盒语义指纹方法，通过模型学到的语义相关结构判断某数据集是否属于其训练混合数据。在自然语言推理、情感分类和医学文本分类三组实验中，基于该分数的分类器平均表现最优且标准差最低，超过黑盒基线 RMIA、Attack-P、LiRA 及白盒 SIF 基线，数据集语义特征明显时 ROC-AUC 相对提升最高超 60%。
正文 · AI 翻译
摘要：能否根据数据集在训练过程中诱导出的虚假相关性来识别该数据集？我们认为，数据集会在模型学到的语义相关结构中留下数据集特有的痕迹：那些在某个数据集内具有预测性、但对底层任务并非因果的偶然规律，可能在训练过程中被内化。我们利用这一洞见来研究数据集级别的成员推断，超越了依赖置信度分数、损失、间隔、生成样本或查询响应等行为或分布证据的现有方法。我们提出了一种基于语义相关描述符（SCD）的白盒语义指纹方法，该方法捕捉模型学到的语义相关结构，并使其在数据集混合之间具有可比性。在受控的留一数据集诊断中，SCD 能够恢复数据集特有的变化，并完美区分匹配与不匹配的数据集对。随后，我们提出了一种实用的基于 SCD 的成员分数，仅使用模型的 SCD 和目标数据集的独立 SCD 来检验目标数据集是否属于模型训练混合的一部分，而无需留一数据集模型。在三个不同的实验设置中，针对自然语言推理、情感分类和医学文本分类的数据集组，我们测试了基于 SCD 的成员推断在不同程度的语义分离和数据集划分间关键词支持下的优势与局限。平均而言，基于该分数的分类器取得了最高性能和最低标准差，优于黑盒基线 RMIA、Attack-P 和 LiRA，以及白盒 SIF 基线。这些结果表明，数据集成员身份可以通过内部语义相关性来追踪，当数据集组展现出独特的语义特性时，ROC-AUC 的最大相对增益超过 60%。
| 评论： | 20 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.30462 [cs.LG] |
| （或 arXiv:2605.30462v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30462 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Andrada Gobeaja [查看电子邮件]
[v1]
2026 年 5 月 28 日星期四 18:38:15 UTC（362 KB）
[v2]
2026 年 10 月 12 日星期一 11:50:21 UTC（381 KB）
来源：arXiv cs.AI · arxiv.org