OpenAI 发布 CSAM 图像分类器并在 ChatGPT 中加入警告与临时封禁
OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM
OpenAI 发布可检测 CSAM 图像(含 AI 生成图像)的图像分类器,并通过 API 免费向部分公司开放,该工具与 NCMEC 合作开发。早期合作测试中,分类器在找到同样数量违规图像的同时减少 48% 的标记量,被标记图像为违规内容的概率提高一倍。
OpenAI 今日宣布推出新工具以打击儿童性虐待材料(CSAM),此举正值外界对 AI 工具使用安全性的担忧日益加剧之际。这些功能包括:一款用于检测 CSAM 的新型图像分类器、针对试图生成或访问儿童性化内容的用户发出的警告与临时封禁、面向开发者的新指南,以及一套供执法部门使用的工具。
该公司发布了一款新型图像分类器,可检测 CSAM 图像,包括由 AI 生成的图像。OpenAI 正通过其 API 向部分精选公司免费提供该分类器的访问权限。该工具会查找此前未见过的图像中的虐待视觉迹象,并给出一个评分,为审核人员处理 CSAM 提供指示性方向。
OpenAI 表示,该分类器是与美国国家失踪与受虐儿童中心(NCMEC)共同开发的,并正与 Tech Coalition 和 ROOST 合作共享该工具的访问权限。在与合作伙伴的早期测试中,这家 AI 公司发现,该分类器标记的图像数量减少了 48%,同时发现的虐待图像数量保持不变,从而减轻了审核人员的工作量。此外,被该分类器标记的图像是虐待图像的可能性高出两倍。
此外,该公司正在 ChatGPT 中新增警告界面,以防止用户访问儿童性化内容。ChatGPT 会向尝试此类提示词的用户显示警报,引导用户寻求专业支持以停止有害行为,并作为警告暂停该账户 24 小时。该应用已经会拦截 CSAM 内容及相关请求。该公司表示,屡次违规可能导致账户被永久移除。
OpenAI 指出,它与此类组织及研究人员共同制定了围绕这一行为的提示信息和指南,包括 Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的 Joel Scanlan,后者独立评估了一项威慑性提示信息的试验。
该公司还发布了面向使用 OpenAI 工具的开发者指南,以预防、检测并帮助用户举报 CSAM 内容。该公司表示,在早期测试中,这些指南已帮助多家开发者采用儿童安全工具,并注册向 NCMEC 举报 CSAM。OpenAI 还为处理儿童安全事务的执法部门配备了 AI 驱动的功能,如专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。该公司还为调查人员提供培训,以及一份关于如何使用 AI 的实地指南。
OpenAI 已面临多起诉讼指控该公司的技术伤害用户,尤其是儿童。专注于安全的非营利组织 Common Sense Media 将 OpenAI 的技术标记为对青少年构成“不可接受的风险”。其他 AI 聊天机器人——尤其是 Grok——已被用于生成未经同意的性化图像,包括儿童的图像。
这家 AI 初创公司在过去 12 个月中对其技术做出了多项调整,包括发布一份安全蓝图、更新内容指南以禁止不当内容、调整其模型以防止其生成有害内容,以及发布面向青少年的特别版 ChatGPT。
当您通过我们文章中的链接进行购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Ivan 在 TechCrunch 报道全球消费科技动态。他常驻印度,此前曾在 Huffington Post 和 The Next Web 等媒体工作。
您可以通过发送电子邮件至 [email protected] 或通过 Signal 上的加密消息 ivan.42 联系或核实 Ivan 的外联。
来源:TechCrunch · AI · techcrunch.com