OpenAI 发布免费 CSAM 检测图像分类器并升级 ChatGPT 儿童安全干预
OpenAI 发布可检测 CSAM(含 AI 生成内容)的图像分类器,通过 API 向经过审核的组织免费开放,测试显示可将需复核图像减少 48%。ChatGPT 同时上线新警告,用户尝试查找涉儿童性剥削内容时会被打断并暂停访问 24 小时。OpenAI 还发布了面向开发者的 CSAM 治理指南和执法调查支持工具。
OpenAI:官网动态·2026-11-17 01:00· 56 分钟前精选AI 评分65
Strengthening the fight against online child sexual abuse with new tools and support
AI 导读
OpenAI 发布可检测 CSAM(含 AI 生成内容)的图像分类器,通过 API 向审核机构免费开放,测试显示可将需复审图像减少 48%,fal 实测 72% 高置信标记确认为新型 CSAM。同时 ChatGPT 上线新警告,在用户尝试查找涉儿童性剥削内容时打断并暂停访问 24 小时,还发布了面向开发者的 CSAM 治理指南和执法调查支持工具。
推荐理由
原文给出 CSAM 检测工具的具体测试数据和开放方式,以及 ChatGPT 内的干预机制,读者可了解其落地效果。
以新工具和新支持加强打击网络儿童性虐待
新工具、实用指南和合作伙伴关系将有助于预防、检测和应对网络儿童性剥削与性虐待。
分享
今天,我们发布了一款新工具,用于检测儿童性虐待材料(CSAM),同时推出能够打断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些工作建立在我们的儿童安全蓝图以及持续开展的检测、拦截和举报虐待行为的工作基础之上。对家长来说,目标很简单:让技术帮助保护儿童安全,同时由人来掌控。
众所周知(opens in a new window)(opens in a new window),打击网络儿童侵害者需要众多组织协同合作。像 OpenAI 这样的单个公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法部门携手,共同推进保护儿童上网安全的集体努力。
帮助更多组织检测虐待材料
我们在现有防护措施的基础上,发布了一款新的图像分类器,能够检测潜在的 CSAM,包括 AI 生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能从未见过的新型图像。它会返回评分,帮助审核人员判断哪些图像可能需要优先处理。这是首个广泛可用、并能明确提示 CSAM 是否可能由 AI 生成的 CSAM 分类器。
我们的团队在美国国家失踪与受虐儿童中心(NCMEC)(opens in a new window)的协助下训练、评估并设计了这款分类器,使其能够投入实际部署。NCMEC 是一家非营利组织,运营着 CyberTipline——一个集中受理网络儿童剥削举报的平台。
我们通过 OpenAI API 向经过审核的组织免费提供这款分类器的访问权限,让儿童安全组织和更广泛的行业(包括团队规模各异的组织)更容易获得 CSAM 检测能力。
儿童安全是全行业的问题,需要各组织之间紧密协作,并采取多种解决方案。我们已与Tech Coalition(opens in a new window)和ROOST(opens in a new window)接洽,帮助我们共享这款新工具的访问权限;我们也大力支持由其他机构开发的工具,例如Thorn 的 Safer(opens in a new window) CSAM 检测系统。此外,我们最近开始参与 Tech Coalition 的Lantern 计划(opens in a new window),将在其中共享并接收与网络儿童性剥削和性虐待相关的信号,以加强跨平台协作。
NCMEC
“技术在帮助识别儿童性虐待材料(CSAM)以及最终识别其中可能出现的儿童方面,发挥着至关重要的作用。这款新分类器让更多组织能够使用有助于检测此前未被识别的 CSAM 的工具,加强举报,并为那些致力于识别和保护受害者的人提供关键信息。我们感谢 OpenAI 投入资源开发技术,强化更广泛的儿童安全生态。”
—John Shehan,高级副总裁,美国失踪与受虐儿童中心(在新窗口打开)
Thorn
“在数字时代保护儿童免受性虐待和性剥削,靠任何单一方案或组织都不够。需要多层防护,才能阻断网上的有害行为,同时让调查人员有工具识别身处危险的儿童。我们赞赏 OpenAI 在这些方面采取行动,并与儿童保护生态中的各组织合作。把技术、专业知识和协作汇聚起来,将是构建更安全数字世界的基础。”
—Melissa Stroebel,研究与战略影响副总裁,Thorn(在新窗口打开)
Tech Coalition
“要保护儿童免受网络性剥削和性虐待,企业必须携手合作。通过 Tech Coalition,业内各团队互相学习,共同应对儿童安全难题。OpenAI 团队是这项工作的积极贡献者,分享工具,并帮助制定其他公司可用的指引。我们很高兴 OpenAI 是 Tech Coalition 及我们董事会中如此投入的一员。”
—Erin Saltman 博士,总裁兼首席执行官,Tech Coalition(在新窗口打开)
我们在内部和早期合作伙伴中测试了该分类器,衡量它能检出多少虐待材料、多久会误标其他图像,以及它如何支持安全团队。他们的反馈帮助我们找出弱点并改进系统。
结果
早期测试表明,该分类器能帮助审核人员聚焦虐待图像,同时减少对误报的复核。在对用户上传图像的评估中,我们将新分类器与现有防护措施做了对比,发现:
新分类器可以减少复核工作量:我们估计,它标记的图像将减少 48%,而发现的虐待图像数量与现有工具大致相同。
被新分类器标记的图像中,含有虐待内容的可能性约为两倍。
早期访问合作伙伴也评估了该分类器如何支持他们自己的安全团队。在 fal(在新窗口打开) 对经人工审核的生产图像所做的测试中,审核人员确认分类器高置信度标记中有 72% 属于新型儿童性虐待材料(CSAM)。invideo AI(在新窗口打开) 的测试显示,每四个被标记的案例中就有一个导致封禁。在 SafetyKit(在新窗口打开) 涉及将儿童性化的绘画或动画的评估中,分类器检出了 90% 的案例。
SafetyKit
“儿童安全工具需要识别不同类型内容中的虐待行为。在我们的测试中,OpenAI 的分类器是我们见过最好的,能捕捉哈希匹配漏掉的未知 CSAM,在绘画和动画上表现强劲,对合法成人内容的误报率低于 1%。这些令人鼓舞的结果表明,可以在限制对合法用户干扰的同时,提供更广泛的防护来抵御有害内容。”
—Samuel Wang,技术员工,SafetyKit(在新窗口打开)
invideo AI
“OpenAI 的分类器模型帮我们锁定真正重要的案例。我们的信任与安全团队不用再在一堆误报里翻找,而是拿到数量更少、更精准的案例来审核,其中需要采取行动的比例也高得多。我们希望 invideo 成为安全的内容创作场所,这个工具帮我们朝这个目标迈进。”
—Kirkston Dsouza,产品经理,invideo AI(在新窗口打开)
fal
“对我们的安全团队来说,一条标记必须提供有用的信号,告诉我们该把注意力放在哪里。OpenAI 分类器给出的高置信度标记让我们相信,随着平台发展,它有望帮助团队识别此前未曾发现的虐待性内容。”
—Antonina Vykhrest,儿童安全总监,fal(在新窗口打开)
HeyGen
“OpenAI 的审核分类器已成为 HeyGen 儿童安全计划的基石。它能为团队提供快速、可靠的有害内容信号,让我们可以迅速而有把握地采取行动。”
—Mutasim Chowdhury,工程师,HeyGen(在新窗口打开)
Adobe
“Adobe 坚定致力于保护儿童上网安全。与 OpenAI 等公司持续创新与合作,能够强化现有防护措施,并让平台有更多工具来检测有害内容。”
—Michael Draper,全球消费者信任副总裁,Adobe(在新窗口打开)
有关该分类器的更多信息,请参阅 CSAM 分类器模型卡(在新窗口打开)。有意使用该分类器的机构可通过我们的申请表单请求访问权限。我们会根据使用者的反馈持续改进分类器。
打断有害行为,引导人们寻求帮助
我们已禁止 CSAM,训练模型拒绝相关请求,并对违反政策的账号采取行动。在此基础上,我们在 ChatGPT 中新增产品警告:当用户试图寻找虐待性内容时予以打断,说明后果,并引导其寻求帮助以停止有害行为。
警告会明确指出,将儿童性化会造成伤害,即使所请求的内容是 AI 生成的也不例外。除警告外,我们会删除被标记的对话,并暂停该用户访问 ChatGPT 24 小时,同时保持专业支持渠道可用,帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终可能关闭账号或向有关部门举报。

我们在制定这一方案时,听取了多家机构和学术顾问的意见,他们从事预防儿童性虐待的研究与项目开发,包括 Protect Children(在新窗口打开)、Lucy Faithfull Foundation(在新窗口打开)、肯特大学司法心理学研究员兼荣誉讲师 Caoilte Ó Ciardha 博士,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑信息试验(在新窗口打开)。
CSAM 威慑中心
“OpenAI 在 ChatGPT 中提供了一个最佳实践范例,展示平台如何遏制并打击有害的在线行为。OpenAI 邀请了多位曾设计并评估过警告信息的外部专家,与他们一起通过基于证据的协同设计打造了这项干预措施,并力求在尽可能多的司法管辖区把用户引导至当地的支持资源。这让警告信息最有可能引导用户远离伤害、转向支持。”
——Joel Scanlan,副教授,CSAM Deterrence Centre(在新窗口打开)
Lucy Faithfull Foundation
“从我们的威慑工作中我们知道,一条警告能否奏效,取决于时机、准确性和语气。OpenAI 在这三点上都下了真功夫。这条警告会在人们面临风险的当下打断他们,直白地说明后果,并指引他们寻求帮助。重要的是,当风险行为持续时,响应会变得更加强硬。我们的 Stop It Now 求助热线已经经常接到有人说,是 AI 聊天机器人把他们引导到我们这里来的。如今这条求助途径正在走向全球,把人们连接到他们本国的支持资源。每一个选择主动求助、而不是顺从冲动行事的人,都是一个被保护的孩子。”
——Frances Frost,倡导与传播总监,Lucy Faithfull Foundation(在新窗口打开)
为开发者提供实用支持
保护儿童上网安全并不止于检测。我们发布了 CSAM 指南(在新窗口打开),为开发者提供切实可行的步骤,用来预防虐待、检测有害内容并采取行动。该指南在制定过程中采纳了 Tech Coalition(在新窗口打开)、Thorn(在新窗口打开)、NCMEC(在新窗口打开) 和 Internet Watch Foundation(在新窗口打开) 的意见,面向处于安全系统建设不同阶段的组织。
指南给出了明确的规则、用户报告疑虑的途径、检测工具,以及审查和上报疑似虐待行为的流程。它还说明了安全标识符如何帮助开发者将滥用行为关联到具体用户,以及如何为审查敏感内容的人员提供支持。开发者可以将它与我们的新图像分类器、Moderation API(在新窗口打开)、ROOST 的自托管审查控制台 Coop(在新窗口打开),以及 Thorn 的 Safer(在新窗口打开) 等专门的 CSAM 检测服务配合使用。
我们对协作以及支持更广泛开发者生态的承诺,也体现在我们与 Anthropic 和 Google 的合作中:我们共同委托编写了一份关于如何应对 AI 系统中儿童性剥削和虐待披露的新指南。该指南最近由 Tech Coalition(在新窗口打开) 发布,为开发者处理这些敏感情况提供了实用建议。
我们已经看到,这份指南促使更多开发者使用儿童安全工具,并注册向 NCMEC 报告 CSAM。
支持儿童安全执法部门
保护儿童也意味着为专门从事儿童安全调查的人员提供支持,帮助他们找到受害者、制止虐待行为。正如我们与 Thorn 公开讨论过的(在新窗口打开),AI 可以帮助调查人员整理和排序信息,减少不必要地接触虐待材料。
我们还在为儿童安全执法部门提供新工具和培训,教他们如何在调查中使用 AI,包括专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。首批工具上线时将帮助调查人员审阅冗长的聊天记录和法律程序回执,识别潜在关联并梳理时间线,且结论可链接回原始材料。
首期培训计划以概览和演示为主,并配有实用的现场指南供团队日后参考。培训将介绍这些工具以及它们如何融入调查工作。参与资格取决于机构授权和项目要求。后续培训将在地区、全国和国际会议上推出。
北卡罗来纳州总检察长
“作为 AI 工作组中的州总检察长,我们的首要任务是保护孩子。这也必须成为科技公司的首要任务。我们必须加强防御,OpenAI 和其他科技公司必须日夜思考并采取措施,防止合成儿童性虐待材料。我们要保护孩子们的安全。”
——杰夫·杰克逊,北卡罗来纳州总检察长
继续携手推进
这些努力有着共同的目标:防止儿童受到伤害,并在虐待发生时加强应对。我们将继续完善防护措施,同时为儿童保护组织、开发者、研究人员和调查人员提供所需的工具、资源和专业知识,帮助他们保护儿童、打击剥削并将施害者绳之以法。通过携手合作,我们可以借助 AI 的力量,在打击儿童性剥削和性虐待的斗争中带来切实的改变。
作者
OpenAI
来源:OpenAI:官网动态 · openai.com
来源:RadarAI · aihot.news