arXiv cs.AI· Hengxiang Zhang, Junxian Liu, Hongxin Wei·· 3 天前AI 评分27
WildTrace：评估真实大规模 LLM 后训练中的训练数据检测
WildTrace: Evaluating Training Data Detection in Realistic Large-Scale LLM Post-Training
AI 导读
研究团队提出 WildTrace，一个面向真实大规模后训练场景的训练数据检测基准，覆盖 SFT、DPO、RL 各阶段模型，并针对四类任务构建分布匹配、成员标签可验证的评估集。结果显示，表现最好的检测方法平均 AUC 仅 0.529，接近随机猜测的 0.5。分析还表明，评估协议会显著影响检测性能的测量结果。
正文 · AI 翻译
摘要：尽管后训练显著提升了模型性能，但使用大量未公开数据引发了对基准污染和版权侵权的担忧。这促使人们对后训练模型的训练数据检测日益关注。现有的训练数据检测评估通常利用事后构建的基准，这可能引入分布偏移。或者，受控评估依赖于与真实后训练设置不同的小规模训练设置。因此，其报告的性能可能无法真实反映检测方法在现实场景中的有效性。为此，我们引入了 \textsc{\method}，一个可靠的基准，旨在评估现实、大规模后训练设置下的检测方法。基于多阶段流水线，\method\space 涵盖了后训练生命周期中各个阶段的特定模型，跨越 SFT、DPO 和 RL。为了进行可靠的评估，我们在四个不同任务上构建了模型特定的评估集，具有分布匹配的成员和非成员，并带有可验证的成员标签。我们的结果表明，即使表现最好的方法在我们的基准上平均 AUC 也仅达到 0.529，接近随机猜测水平（0.5）。此外，我们的分析表明，评估协议会显著影响所测得的检测性能。这些发现凸显了在现实场景下开发有效、实用且稳健的检测方法的巨大潜力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16152 [cs.LG] |
| （或 arXiv:2610.16152v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16152 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hengxiang Zhang [查看电子邮件]
[v1]
2026年10月12日星期一 04:21:53 UTC（238 KB）
来源：arXiv cs.AI · arxiv.org