arXiv cs.CL· Sruly Rosenblat, Tim O'Reilly, Ilan Strauss·· 10 小时前AI 评分58
研究：GPT-4o 对未授权付费墙书籍表现出识别迹象
Beyond Public Access in LLM Pre-Training Data
AI 导读
研究团队用 34 本 O'Reilly Media 版权书籍（13,962 个段落）对 OpenAI 模型做 DE-COP 成员推断攻击，考察模型是否识别未获授权训练的付费墙内容。
正文 · AI 翻译
摘要：我们使用一个合法获取的、包含 34 本受版权保护的 O'Reilly Media 图书（13,962 个段落）的数据集，应用 DE-COP 成员推断攻击，来测试 OpenAI 模型是否表现出对其未获许可用于训练的、非公开（付费墙后）内容的识别能力。我们的主要贡献在于考察非公开图书，这使我们能够考虑潜在的访问违规问题，而不仅仅是训练数据包含问题。我们的结果表明，GPT-4o——我们样本中 OpenAI 更新、能力更强的模型——表现出与非公开图书识别相一致的规律，AUROC 得分为 0.82（95% 自助法置信区间：0.60-0.96）——其中高于 50% 即优于随机猜测。GPT-3.5 Turbo（两年前训练）和较小的 GPT-4o Mini 在非公开数据上的识别得分均接近随机水平（分别为 0.54 和 0.56）。结果对独立的改写器（Gemma 和 Qwen）以及留一图书敏感性分析均保持稳健。我们还测试了具有相同 2023 年 10 月训练截止日期的 GPT-4o 和 GPT-4o mini，以确保模型并非仅仅在识别随时间推移的语言变化。这些发现支持对预训练数据来源的披露要求，以及建立训练内容的正式许可市场。鉴于图书样本较小、截止日期后对照数据可能存在污染，以及模型在规模、架构和训练构成上的差异，结果仍属初步。
| 评论： | 38 页，6 幅图，12 张表。已更新以反映在 AI and Ethics 上发表的版本 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.00020 [cs.CL] |
| （或 arXiv:2505.00020v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.00020 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | AI and Ethics 6, 623 (2026) |
| 相关 DOI： | https://doi.org/10.1007/s43681-026-01438-z
链接到相关资源的 DOI |
提交历史
来自：Ilan Strauss Dr. [查看邮箱]
[v1]
2025 年 4 月 24 日星期四 15:49:59 UTC（499 KB）
[v2]
2026 年 5 月 6 日星期三 17:41:54 UTC（237 KB）
[v3]
2026 年 10 月 30 日星期五 16:20:37 UTC（461 KB）
来源：arXiv cs.CL · arxiv.org