OpenAI 发布 CSAM 图像分类器,并为 ChatGPT 增加警告与封禁机制
OpenAI 发布 CSAM 图像分类器并新增 ChatGPT 警告与封禁机制
OpenAI 发布可检测 AI 生成图片的 CSAM 图像分类器,与 NCMEC 合作开发,并通过 API 免费向部分企业开放。早期测试中,该分类器在识别出同样数量违规图片的情况下少标记 48% 的图片,被标记图片中违规比例翻倍。ChatGPT 同时新增警告界面,对试图生成此类内容的用户提示并暂停账号 24 小时,屡次违规可永久封号。
TechCrunch:AI· Ivan Mehta·2026-11-17 01:00· 47 分钟前AI 评分51
OpenAI 发布新的图像分类器和 ChatGPT 警告,以打击 CSAM
AI 导读
OpenAI 发布打击儿童性虐待材料(CSAM)的新工具,包括可检测 AI 生成图片的图像分类器,通过与 NCMEC 合作开发,并免费向部分企业开放 API。早期测试中该分类器在识别同样数量违规图片的情况下少标记 48% 的图片,被标记图片中违规比例翻倍。
正文 · 原文

OpenAI 今日宣布推出打击儿童性虐待材料(CSAM)的新工具,背景是围绕 AI 工具使用的安全担忧日益加剧。这些功能包括用于检测 CSAM 的新图像分类器、防止用户创建或访问儿童性化内容的警告和临时封禁、面向开发者的新指南,以及一套面向执法部门的工具。
该公司推出了一款新的图像分类器,可检测 CSAM 图像,包括由 AI 生成的图像。OpenAI 正通过其 API 免费向部分企业开放该分类器的访问权限。该工具会寻找此前未见图像中的虐待视觉迹象,并给出评分,为审核人员处理 CSAM 提供指示性方向。
OpenAI 表示,该分类器是与美国国家失踪与受虐儿童中心(NCMEC)共同开发的,并正与 Tech Coalition 和 ROOST 合作共享该工具的访问权限。在与合作伙伴的早期测试中,这家 AI 公司发现,该分类器在发现相同数量虐待图像的同时,标记的图片减少了 48%,从而减轻了审核人员的工作量。此外,被该分类器标记的图片是虐待图像的可能性翻倍。
此外,该公司正在 ChatGPT 中增加新的警告界面,以防止用户访问儿童性化材料。ChatGPT 会向尝试此类提示词的用户显示警报,引导用户寻求专业支持以停止有害行为,并暂停该账户 24 小时作为警告。该应用已经会屏蔽 CSAM 内容及相关请求。该公司表示,屡次违规可能导致账户被永久移除。
OpenAI 指出,它与此类组织及研究人员共同制定了围绕这一行为的提示信息和指南,包括 Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑信息试验。
该公司还发布了面向使用 OpenAI 工具的开发者指南,以预防、检测并帮助用户举报 CSAM 内容。该公司表示,在早期测试中,这些指南已帮助多家开发者采用儿童安全工具,并注册向 NCMEC 举报 CSAM。OpenAI 还在为处理儿童安全事务的执法部门配备 AI 功能,如专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。它还为调查人员提供培训以及关于如何使用 AI 的实地指南。
OpenAI 已面临多起诉讼指控该公司,称其技术伤害用户,尤其是儿童。专注安全的非营利组织 Common Sense Media 将 OpenAI 的技术标记为对青少年的“不可接受风险”。其他 AI 聊天机器人——尤其是 Grok——已被用于制作未经同意的性化图像,包括儿童的图像。
这家 AI 初创公司在过去 12 个月里对其技术做出了多项调整,包括发布一份安全蓝图、更新内容准则以屏蔽不当内容、重新调校其模型以防止其生成有害内容,以及推出面向青少年的特别版 ChatGPT。
当您通过我们文章中的链接进行购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
来源:TechCrunch:AI · techcrunch.com
来源:RadarAI · aihot.news