跳到正文
TechCrunch · AI· Kirsten Korosec, Rebecca Bellan·· 3 小时前精选AI 评分78

Vals 研究:告诉模型这是游戏即可诱导其标记民用目标

AI models can be tricked into identifying civilians as military targets by telling them it’s a game

AI 导读

旧金山 AI 评测初创公司 Vals 的研究发现,OpenAI、Anthropic、Google、DeepSeek 等公司的模型在无人机和卫星图像中频繁把平民、投降士兵和学校标为打击目标,被拒绝时只要声称这是游戏就能越狱。

推荐理由

Vals 的测试显示,主流模型在游戏化包装下会标记民用目标,读者可据此了解前沿模型在军事场景中的安全边界。

正文 · AI 翻译

根据 Vals 发布的一份新研究报告,Anthropic、OpenAI 及其他领先 AI 实验室的一些模型,只需被告知它们正在玩一个游戏,就能轻易被诱骗去为军事打击识别目标——即便目标包括平民或学校等地点。

总部位于旧金山的 AI 评估初创公司 Vals 测试了领先 AI 模型是否可能被操纵参与自主战争。研究人员使用模拟场景,并结合来自乌克兰和伊朗的生成图像与真实图像,观察这些 AI 模型是否会在无人机和卫星图像中标记目标。

来自 OpenAI、Anthropic、Google、DeepSeek 及其他公司的模型频繁在无人机和卫星图像中识别出潜在目标,包括平民和投降的士兵。当模型拒绝配合时,研究人员能够通过声称战场场景是游戏的一部分来对它们进行越狱。

这些发现出台之际,人们对 AI 带来的直接风险日益担忧,其范围已超出与通用人工智能相关的生存性威胁。

今年早些时候,Anthropic 与国防部陷入争议,此前该公司告知该机构,其技术不能被该机构用于对美国人的大规模监控或自主战争。Anthropic CEO Dario Amodei 坚持认为,当今的 AI 系统不够可靠,无法在没有人类参与的情况下做出生死攸关的决定。与此同时,五角大楼辩称,它应当能够将该技术部署于任何可怕的军事目的。

这项新研究进一步引发了疑问:AI 公司是否有能力阻止其模型被用于战争。 

讽刺的是, Anthropic 的 AI 模型在这些模拟场景中表现最差。但没有任何模型表现特别好。研究人员的所有请求都没有被安全分类器拦截,拒绝的情况也不常见。即使模型确实拒绝,它们往往在被告诉自己在玩游戏后就会照做。

Anthropic 发言人 Eduardo Maia Silva 告诉 TechCrunch,公司感谢 Vals 的报告、建议和合作,并承认这些结果不可接受。

“报告中的示例明显违反我们的规则,当我们看到这种行为时,我们已经封禁并将继续封禁用户,”Silva 发送的一封公司电子邮件声明称。“即使在授权环境中,Anthropic 也长期坚持认为,当今的前沿 AI 系统不够可靠,无法驱动完全自主的武器。”

Anthropic 告诉 TechCrunch,其团队在报告发布前已在开发额外的保障措施,这些措施将很快到位。Anthropic 还在扩大自身的测试,并加强保障和执行,以弥补发现的任何漏洞。

OpenAI 发言人 Nate Evans 告诉 TechCrunch,公司禁止使用其公开模型来助长暴力或用于未经批准的国家安全目的,包括 Vals 模拟的场景。

“我们积极检测并阻止滥用行为,包括暂停违反我们政策的账户,”OpenAI 在一封电子邮件声明中表示。“我们还在为我们的公开模型开发额外的保障措施,以防止涉及无人机和无人机软件的滥用。” 

Vals 在报告中指出,这些模型从未被要求直接做出打击决策,研究人员表示模型通常会拒绝这类任务。但这并不意味着它们的输出在现实世界中不会造成灾难性或致命后果。例如,目标定位信息可能被自主武器系统使用。

在某些场景中,模型被要求报告是否有人可见。在得到肯定报告后,系统会进行模拟打击,模型会看到相应后果。

该报告依赖的是前沿 AI 实验室的商业模型,而非这些公司可能提供给军方的模型。不过,目前尚不清楚这些额外保障措施是否适用于军事用途。 

Vals 还指出,延迟和有限的机载计算能力等技术挑战,使得通用 AI 模型难以用于实时无人机目标定位。这些限制降低了其在战斗中部署的紧迫威胁。

研究人员表示,更紧迫的威胁在于,AI 模型可能被用于大规模标注战场影像,从而为自主目标定位系统生成训练数据。 

例如,研究人员使用了伊朗一所学校的真实卫星图像,该学校于 2026 年 2 月遭美国轰炸,造成 150 多名平民死亡。彭博社随后报道称,“对 AI 的过度依赖”是此次打击的原因之一。在 Vals 的测试中,模型频繁将这座毗邻军事综合体的学校标记为打击目标,其中 Claude Opus 5.5 在普通试验中有 69% 选择该校,在游戏框架试验中这一比例为 72%。

Anthropic 目前不再持有五角大楼的活跃合同,但 SpaceXAI、OpenAI 和 Google 等其他公司仍有。最近一份国会研究服务处报告发现,据知五角大楼并未在任何自主武器系统中直接使用前沿 AI 模型。 

TechCrunch 也已联系 Meta、Google、Thinking Machines Lab 和 SpaceXAI 寻求置评。 

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Kirsten Korosec 是一名记者和编辑,十多年来一直报道交通领域的未来,涵盖电动汽车、自动驾驶汽车、城市空中交通和车载技术。她目前是 TechCrunch 的交通编辑,也是 TechCrunch 旗下 Equity 播客的联合主持人。她还是播客“The Autonocast”的联合创始人和联合主持人。她此前曾为 Fortune、The Verge、Bloomberg、MIT Technology Review 和 CBS Interactive 撰稿。

您可以通过发送邮件至 [email protected] 或通过 Signal 上的加密消息 kkorosec.07 联系或核实 Kirsten 的外联信息。

查看简介

Rebecca Bellan 是 TechCrunch 的高级记者,报道人工智能领域的商业、政策和新兴趋势。她的作品也出现在 Forbes、Bloomberg、The Atlantic、The Daily Beast 和其他出版物上。

您可以通过发送邮件至 [email protected] 或通过 Signal 上的加密消息 rebeccabellan.491 联系或核实 Rebecca 的外联信息。

查看简介

来源:TechCrunch · AI · techcrunch.com