arXiv cs.CL· Ali Banaei, Muhammad Shahab Shahzad, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kosti\'c·· 10 小时前AI 评分34
从训练曝光到成员证据：OLMo 2 的受控成员推断研究
From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
AI 导读
研究团队重跑 OLMo 2 1B 官方 500 亿 token 中期训练阶段，用 7,814 对同领域同难度文档做抛硬币式插入/留出对照，以 AI2 同种子发布的训练作为反事实参照。
正文 · AI 翻译
摘要：语言模型是否在某个文档上训练过，关系到版权、隐私和基准污染。然而，大多数针对语言模型的成员推断（MI）评估都是在事后收集成员与非成员，因此成功可能反映分布偏移，而失败则无法定论。我们重新运行了 OLMo 2 1B 官方的 500 亿 token 中期训练阶段，将选定的训练数据块替换为来自 7,814 对在领域和难度上匹配的文档。对于每一对，通过抛硬币决定插入哪份文档、留出哪份文档。Allen Institute for AI（AI2）从相同随机种子发布的运行在其他所有地方看到的数据完全相同，可作为反事实参照。一次曝光平均会提高一份此前未见文档的似然，但很少能将其识别出来。以反事实作为参照，参考比值的 ROC 曲线下面积（AUC）为 0.767，但在跨领域使用单一阈值时，在 1% 假阳性率（FPR）下只能捕获 3.8% 的成员。相比之下，在给定同领域非成员和接近的参考时，13 对匹配样本可使配对检验在 5% 显著性水平下达到 80% 的统计功效，以检测某个集合是否被用于训练。用另一个随机种子训练的参考可恢复反事实相对于随机猜测的 AUC 优势的 92%，而无参考攻击在跨领域汇总时与随机猜测的差距保持在 0.07 以内。在两种模型上重新运行完整的官方后训练流程后，平均效应保留了 89%。即使有高度匹配的参考，文档层面的显著变异性仍限制了个体成员推断。我们将发布检查点、逐 token 对数概率以及评估文档；代码见 此 https URL。
| 评论： | 20 页，11 幅图。代码：此 https URL |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.41732 [cs.CR] |
| （或 arXiv:2610.41732v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41732 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ali Banaei [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 13:41:56 UTC（382 KB）
来源：arXiv cs.CL · arxiv.org