跳到正文
RadarAI· Ars Technica:AI(RSS)·· 7 小时前AI 评分74

多力多滋薯片袋触发AI枪支误报,四名黑人高中生起诉学校和警方

多里多薯片袋触发 AI 枪支误报,四名黑人高中生起诉学校和警方

AI 导读

四名黑人高中生起诉 Baltimore County Public Schools、Omnilert 及出警警员,起因是2025年10月学校AI枪支检测系统 Omnilert 把学生手中的 Cool Ranch Doritos 薯片袋误判为枪支。

正文 · AI 翻译

Ars Technica:AI· Ashley Belanger·2026-11-20 04:19· 50 分钟前AI 评分74

多力多滋薯片袋触发 AI 枪支警报后,受创伤的青少年起诉学校和警察

AI 导读

四名黑人高中生起诉 Baltimore County Public Schools、Omnilert 和出警警员:2025 年 10 月,学校 AI 枪支检测系统 Omnilert 把学生手中的 Cool Ranch Doritos 薯片袋误判为枪支。

正文 · 原文

Image 1Image 2

图片来源:busypix | iStock Unreleased

2025 年 10 月,四名黑人高中生在橄榄球训练结束后分享 Cool Ranch Doritos 薯片,放松休息,等待家人开车来接。就在那时,在一个任何参加课后活动的青少年都熟悉的短暂空档里,学校的 AI 枪支检测系统突然将一名拿着薯片袋的学生标记为潜在枪手。

不到两分钟,审查与该警报关联的安全摄像头录像的 Baltimore County Public Schools 官员就确定并不存在实际威胁。他们认出了多力多滋薯片袋,并取消了警报,通知了警报链上的其他学校官员以及 Baltimore County Police Department,无需出警。

这起误报本可以就此结束——在校园内与警察发生令人创伤的冲突之前——但事实并非如此。

根据现任和前任学生 Taki Allen、Yui-Osa Ogbeide、Devon Thompson Jr. 和 Keith Winfield III 提起的诉讼,由于“技术和人为错误”,学校官员还是叫了警察到现场,而警察则动用武力回应。

诉讼称,至少六辆巡逻车闪着警灯抵达,一些警察拔枪下车。青少年们僵住了,配合行动,既困惑又害怕自己有生命危险。

“没有人告诉学生他们被怀疑做了什么,”诉讼称。“警察把学生分开,命令他们在混凝土上跪下,给他们戴上手铐,并搜查了他们的人身和财物。”

直到警察没有找到枪,学生们才知道是学校的 AI 枪支检测系统 Omnilert 触发了警察的响应。据称,一名出警警察嘟囔道,“愚蠢的 AI 摄像头”和“该死的 Omnilert”,而另一名警察告诉学生“AI 不是最好的”。最终释放学生时,一名警察似乎承认他们让这些青少年陷入了危险。

“嘿,谢谢你们没有逃跑,那会是个真正的问题,”这名警察据称说道。走开时,另一名警察开玩笑说,男孩们应该记住“小心你们的薯片袋”。

青少年受到创伤

警察不仅针对了疑似枪手,而且显然在其他青少年询问为什么被搜查时告诉他们,他们“因关联”而有罪。

这些青少年起诉是为了阻止其他青少年因官员盲目信任 AI 而面临据称的生死攸关情况,他们请求颁布禁令,禁止 BCPS 使用 Omnilert,直到他们能够有效建立防止警察对误报出警的规程。

诉讼称,学生的宪法权利受到侵犯,因为他们被非法搜查和拘留。

代表这些青少年提起此案的无党派非营利组织 Lawyers’ Committee for Civil Rights Under Law 的总裁兼执行主任 Damon Hewitt 表示,“过度依赖人工智能技术,再加上关键官员之间无能的沟通与协调,是一种有毒的组合。”

诉状指出,BCPS 是最早采用 Omnilert 的机构之一,官员们曾将其吹捧为“规模最大的 AI 视觉枪支检测部署”,据称可用于保护学生。相反,他们指控 Omnilert 将一款有缺陷的产品宣传为能触发“近乎零误报”,却并未有效要求该说法所依赖的充分人工审核。

“我们需要对 AI 的使用方式进行反思,尤其是涉及公共安全和儿童的问题,”Hewitt 说。“我们正在为此案争取正义,但这也为全国的教育工作者和警察官员提供了教训,他们在将我们孩子的命运交到 AI 手中之前应当三思。”

事件发生后,所有青少年在校园里都感到更不安全,对警察的信任也更低。他们还遭受了身体上的疼痛——包括手腕上因手铐留下的“深红色痕迹”——以及“严重而持久的情绪困扰、恐惧、焦虑”和“羞辱”。此外,这些青少年报告说,谣言缠身,虚假声称现场有枪,损害了他们的名誉。

接送孩子放学的方式将永远改变。被错误标记为枪手的学生 Taki Allen“不再觉得等待接送或放学后在校外逗留是安全的”,并且“经常付费乘坐私人汽车服务回家,以避免等待朋友或家人接送”。Keith Winfield 的家离学校很近,但他的母亲 Frieda Winfield 说,他的焦虑非常严重,以至于他会“在足球训练结束后多次打电话给她,确认她正在来接他的路上”。

在儿子 Keith 经历了令人不寒而栗的遭遇后,Frieda Winfield 呼吁做出改变。

“警察告诉我儿子,这可能会成为一个真正的问题,”Frieda Winfield 说。“巴尔的摩县没有任何一个孩子应该在等待母亲来接自己回家时,在自己学校外面面临这种危险。”

出了什么问题?

这些青少年的诉讼针对 Omnilert 和响应的巴尔的摩县警察局警员。诉讼还质疑巴尔的摩县公立学校和个别学校官员,据称他们未能建立适当的规程,以防止警方对已取消的警报做出响应。

在后续调查中,教育部监察长办公室(OIG)得出结论,Omnilert 的系统没有“偏见”。但 OIG 承认,Kenwood 高中设立的“授权”流程未能阻止其校长 Kate Smith 注意到警报、未能发现警报已被取消,并在 15 分钟后发短信给一名学校资源警官部署警察——而她在该短信中承认警报中的物体“可能不是”枪。OIG 的报告表明,Smith 显然从未接受过关于 Omnilert 系统的培训。

OIG 同意青少年的观点,认为情况应该改变。事件发生后,一份 Omnilert 内部培训链接立即被分享给了 BCPS 工作人员,OIG 建议学校今后每半年进行一次培训。

他们还建议 BCPS 学校安全部门“审查其规程”,并减少接收校园枪支警报的人数。OIG 表示,这可能有助于确保“内部通知控制得到遵守”,并确保警方“充分了解经过核实的威胁”。

OIG承认,如果不做改变,“警报通知控制的缺失不仅可能使BCPS教职员工和学生面临风险,还可能使响应的执法人员陷入可能酿成悲剧的境地。”

另一项变更提供了一种本可能阻止这起悲剧事件的技术解决方案。OIG建议学校官员改用Omnilert应用。由于Smith是在手机上的短信窗口中打开警报的,他们指出,如果她的第一反应是放大图像或查看摄像头画面,她很容易忽略那条取消警报的短信。

这些建议对于提起诉讼的在校生和往届学生来说还不够,其中一名仍是在校生的学生声称,校长从未道歉,反而在其他学校官员的短信中用笑哭表情轻描淡写地对待这些事件。青少年们声称,Smith本应知道,正如OIG报告所说,巴尔的摩县公立学校超过“99%的OGD警报都是误报,无需警方响应”,她本应优先考虑学生的安全,并在报警前核实威胁。

他们的诉讼称:“BCPS的失职构成了对学生宪法权利的蓄意漠视。”

这些青少年请求法院颁布禁令,禁止使用Omnilert,直到BCPS教职员工和警方接受充分培训。在诉状中,他们声称现场没有任何一名警员在响应前查看过摄像头画面,也没有任何一名被告知警报已取消的警员进行干预。

BCPS不予置评;Omnilert为其技术辩护

BCPS拒绝就诉讼置评,并让Ars查阅事件发生后向家长发布的一份声明。该声明没有直接向学生道歉,但确实表示学校将为他们提供“持续的心理咨询和情感支持”,同时承诺采取措施防止未来发生类似事件。

Omnilert营销副总裁Blake Mitchell告诉Ars,Omnilert正在审查诉状。

Mitchell说:“这四名学生在2025年10月20日的遭遇本不该发生,我们对他们及其家人经历的恐惧深表歉意。我们理解他们为何想要答案。”

Mitchell表示,Omnilert“的设计宗旨是将任何可能是枪支的东西发送给受过训练的人员进行审查,因为漏掉真枪是最糟糕的结果。”他还重申,OIG调查未发现Omnilert系统存在偏见,并似乎认同是学校的权限委托辜负了学生,而不一定是技术本身的问题。

Mitchell说:“在这起事件中,学校指定的安全人员审查了警报,并在大约两分钟内将其取消,所有收到警报的人都得到了通知。这正是人工审查重要的原因,也是取消的警报必须保持取消状态的原因。”

代表这些青少年的律师委员会成员Len Kamdang告诉《纽约时报》,青少年们希望BCPS和Omnilert承认“他们的遭遇是不可接受的”。

Kamdang说:“这起案件归根结底关乎人类如何允许AI取代自己的判断。”

作为一名母亲,Frieda Winfield告诉当地新闻媒体,尽管她刻意教导儿子在警察周围要保持谨慎,但她对这起事件感到震惊。她说,男孩们的谨慎“在我看来救了他们的命”。

“我很愤怒。我很害怕,”Frieda Winfield说。“最主要的是恐惧,因为他们是年轻男性。年轻的黑人男性,而且他们当时在学校,他们不明白为什么发生在他们身上的事情会发生。”

Kamdang对《纽约时报》表示:“对任何有孩子的人来说,这都是一个非常可怕的处境。对一名黑人学生,尤其是美国的年轻黑人男性来说,这是生死攸关的处境。”

随着AI工具越来越多地被定位为公共安全解决方案,律师委员会在其新闻稿中表示,当警察或官员似乎盲目信任AI时,他们正在推动警务改革。他们指出,“这一不公也引发了更广泛的担忧,即AI技术在公共安全中的使用和可靠性,而在生死攸关的情况下,准确性至关重要。”

正在加载评论……

来源:Ars Technica:AI · arstechnica.com

所属事件

查看事件全部薯片误判为枪:四名黑人学生起诉AI公司与警方

来源:RadarAI · aihot.news