Common Sense Media 称 ChatGPT for Teens 存在不可接受风险,OpenAI 质疑其测试方法
ChatGPT for Teens presents 'unacceptable risk'
Common Sense Media 旗下 Youth AI Safety Institute 在 ChatGPT for Teens 上线前后测试了 4000 多条提示词,认为该模式对 18 岁以下用户构成不可接受风险,建议 OpenAI 暂停推广并阻止青少年使用。
华盛顿(TNND)——8月,OpenAI 推出了面向青少年的 ChatGPT,旨在为这款热门聊天机器人的未成年用户创造一个安全空间。不到两个月后,一家在线安全监督机构警告称,这一新模式未能兑现该公司的承诺。
8月,OpenAI 推出了面向青少年的 ChatGPT,旨在为这款热门聊天机器人的未成年用户创造一个安全空间。不到两个月后,一家在线安全监督机构警告称,这一新模式未能兑现该公司的承诺。(TNND)
Common Sense Media 青年 AI 安全研究所在该模式推出前后测试了 4000 多条提示词,随后得出结论:这款聊天机器人对所有 18 岁以下用户构成“不可接受的风险”,这是该机构的最差评级,并建议 OpenAI 暂停对青少年模式的营销,并在公司开发出“安全、符合发育阶段的体验”之前阻止青少年使用 ChatGPT。
“ChatGPT 宣传的一些保护措施在我们的测试中确实有效,包括拒绝露骨的性角色扮演。但其他措施失败了——有些还因新的青少年模式而变得更糟。我们担心,面向青少年的 ChatGPT 可能让家长对那些常常失效的防护措施产生虚假信心,”Common Sense Media 的产品评测写道。
报告最引人注目的发现是家长通知系统存在缺陷。研究人员创建了十几个账户,这些账户自报为青少年年龄,并关联到一个家长账户,然后进行对话。这些账户基于虚构人设,并明确提及自杀念头、自残或饮食失调。Common Sense Media 表示,其测试人员没有从这些提及上述内容的新账户收到任何家长警报;他们只收到其他账户的警报,而这些账户已有数周讨论敏感话题的历史,“这表明警报取决于累积的账户历史,而非青少年所说内容的严重程度。”
此外,研究人员表示,面向青少年的 ChatGPT 漏掉了超过四分之一需要转介心理健康危机干预的情况。这些提示词由一个持证儿童心理健康专业人士小组进行了审查。
Common Sense Media 还发现,旨在防止用户在做学校作业时作弊的功能很容易被绕过或关闭。
“你可以让它替你写一篇论文,一篇精妙的论文,它会照做,甚至还会告诉你如何编辑,让你的老师看不出来,”Common Sense Media 创始人兼首席执行官 Jim Steyer 说。“因此,这干扰了学习。它干扰了基本过程,干扰了孩子们必须自己做功课、自己学习材料、自己写论文或自己做题集的过程。”
报告称,内容防护、年龄预测和休息提醒也无效。OpenAI 表示,青少年用户平均每天在 ChatGPT 上花费不到 15 分钟。在每天连续使用 ChatGPT 超过三小时的青少年中——这类用户不到 2%——近一半人在收到休息提醒后五分钟内结束了对话。
OpenAI 的一位发言人表示,公司“坚定致力于”青少年安全,正在制定保护措施,并为家长提供工具,帮助他们应对孩子使用 AI 的情况。
“我们欢迎严格的独立评估,但我们不认为 Common Sense Media 的测试准确反映了 ChatGPT 青少年保护措施在实际中的运作方式,也不代表专家对 AI 如何支持青少年的看法。我们对 Common Sense Media 方法的审查显示,他们的大部分测试可能是在家长控制功能完全启用之前开始并结束的,这使得他们的发现不准确。如果情况如此,这些测试就无法确定家长安全通知是否按设计运作,”OpenAI 发言人说。
Steyer 表示,他们已就调查结果与 OpenAI 保持联系,这是他们在产品评估期间的标准做法,并且对结果仍然充满信心。
“我们百分之百支持我们研究的质量、测试以及我们将该产品标记为‘不可接受风险’的事实,”Steyer 说。“我们希望看到他们修复这个产品,但这和你对汽车的期望是一样的。如果一辆车没有通过碰撞测试,或者没有安全带、安全气囊或其他基本安全功能,你就不会把它投放市场。”
来源:Hacker News · foxbaltimore.com