OpenAI 发布 CSAM 分类器,可识别 AI 生成内容并免费开放给审核机构
OpenAI wants to stop deepfakes from overwhelming child abuse tiplines
OpenAI 在华盛顿发布会上宣布一款 CSAM 分类器,称其能更好地识别儿童性虐待图像并判断是否为 AI 生成,误报图像减少 48%,识别出的图像含虐待材料的概率翻倍。该分类器将免费开放给通过审核的机构,OpenAI 称这是首个带 AI 生成标记且广泛可用的 CSAM 分类器。同时 ChatGPT 对试图生成此类内容的用户新增警告,首次违规将暂停访问 24 小时并提示账号可能被永久关闭。
OpenAI 宣布推出一款工具,称其能帮助儿童性虐待调查人员从海量信息中筛选出可迅速采取行动的有害材料。
周一在华盛顿特区举行的新闻发布会上,OpenAI 宣布了一款分类器,称其能更好地识别儿童性虐待图像,包括判断这些图像是否由 AI 生成。该公司还向经过审核的机构提供免费使用权限,为开发者提供更多关于如何检测此类内容的指导,并帮助培训执法部门了解 AI 如何协助其调查。此消息发布之际,政策制定者和其他人士正推动对 AI 工具施加更多安全限制,指责 OpenAI 及其他公司助长了对儿童的伤害。
近年来,AI 生成的儿童性图像大有淹没美国国家失踪与受虐儿童中心(NCMEC)CyberTipline 系统之势,该系统负责收集并初步筛查儿童性虐待材料(CSAM)报告。CyberTipline 在 2025 年收到了 40 万份与生成式 AI 相关的报告,较 2024 年的 6.7 万份呈指数级增长,研究人员警告称,这一涌入可能使 NCMEC 的工作量变得“难以管理”。美国政府已声明,AI 生成和非 AI 生成的 CSAM 均属违法,已有 48 个州立法应对色情 AI 深度伪造内容。但制作此类内容的工具随处可得,研究人员表示,大量虚假图像的涌入会让人更难判断何时有儿童正在实际遭受伤害。
涌入 NCMEC 的 AI 生成 CSAM 报告呈“爆炸式”增长
北卡罗来纳州总检察长杰夫·杰克逊(Jeff Jackson)是总检察长联盟 AI 工作组的联合主席,他在 OpenAI 的活动上表示,涌入 NCMEC 的 AI 生成 CSAM 报告呈“爆炸式”增长——如果这种趋势持续下去,“就意味着我们的使命将失败。”科技公司正面临一系列政策提案,这些提案可能要求它们对 CSAM 及其他可能危害儿童的内容采取更多行动。《下架法案》(Take It Down Act)现在要求社交媒体平台在 48 小时内删除真实或 AI 生成的未经同意的私密图像,而新当选的国会可能会寻求对 SpaceXSI 等 AI 公司采取更强有力的行动,该公司的 Grok 聊天机器人在今年早些时候曾出现大规模“脱衣”风波。上个月,八个州起诉 OpenAI,指控其对儿童造成另一系列伤害,援引的诉讼称 ChatGPT 鼓励非法药物使用和自杀。
OpenAI 表示,其分类器大幅减少了误报,标记出的图像数量减少了 48%,而它识别出的图像包含虐待材料的可能性是原来的两倍。该分类器旨在捕捉由各种工具生成的虐待性 AI 图像,包括开源模型和裸体化应用。OpenAI 儿童安全公共政策负责人约翰·巴克利在简报会上表示,这也是首个广泛可用、能专门标记 AI 生成材料的 CSAM 分类器。“行业必须能够理解哪些图像可能包含虚构儿童,哪些包含真实儿童,”巴克利补充道。“这种分类在执法报告流程中至关重要。”不过,他也强调,法律应承认 AI 生成的 CSAM 所造成的危害:“它可能侵蚀针对儿童犯罪的社会规范,而且常常与真实儿童的性虐待图像并存,”巴克利说。
OpenAI 表示,其分类器大幅减少了误报,标记出的图像数量减少了 48%
OpenAI 自家的 ChatGPT 图像生成器旨在拒绝用户对 CSAM 的请求。现在,试图生成此类内容的用户将看到一条在专家指导下开发的新警告,以鼓励他们寻求帮助。首次违规将触发 24 小时暂停访问 ChatGPT,并警告用户其账户可能被永久关闭,同时提供支持资源以帮助纠正该行为。OpenAI 表示会向 NCMEC 报告“所有 CSAM 实例”。巴克利在一份声明中解释说,24 小时暂停是基于专家建议的最佳实践,“以及关于如何预防和应对寻求 CSAM 与生成 CSAM 的国际证据”。其目的是“打断有害行为,并引导人们寻求专业帮助以停止该行为”。
杰克逊表示,北卡罗来纳州和许多其他州现在都有涵盖合成 CSAM 的法律,但与 OpenAI 这样的科技公司合作帮助阻止其生成,对于这个新兴问题来说是一种相当新颖的方法。“总检察长所做的大部分工作是问责,”他在简报会上告诉记者。“我们的大部分管辖权是在事后介入,让人们为伤害负责。但通过这件事,我们想看看是否有可能开发出一种合作模式来预防这种伤害。我得说,这基本上仍是一个实验。”
关注本报道的主题和作者,以便在个性化首页信息流中看到更多类似内容,并接收电子邮件更新。
- 劳伦·费纳
来源:The Verge · AI · theverge.com