HWREBench：作者用 AI 破解多款智能设备并建立硬件破解基准

我在亚马逊上买了一堆“智能”设备。我能够用 AI 入侵其中大部分。我们来聊聊这件事！

AI 与网络安全的讨论往往集中在 cURL、Linux 或 Chrome 等关键软件中高关注度、高严重性漏洞利用的增加上。这理所当然——这些关键基础设施触及了大多数互联网用户的数字生活，使得安全漏洞成为真正的大事。最先进 AI 模型背后的团队正试图将其顶尖能力优先提供给防御方，希望在恶意行为者获得同等模型来寻找漏洞之前，堵住“所有漏洞”并修复问题。期望是：最终我们将修复大部分漏洞，留下安全性大幅提升的软件（尽管在此期间会经历一段动荡的过渡期）。

不幸的是，并非所有软件都由那少数拥有“可信访问”权限、能获得最佳防御的组织制造。你被软件包围——不只是你电脑上的应用，还有打印机、CD 播放器、恒温器和智能冰箱上的固件，以及让你的 wifi 工作、智能手表震动的许多层隐藏软件。这些设备中许多很少收到更新，历史上一直依赖相对默默无闻来保障安全。AI 如何改变这一局面？当今的 AI 智能体能否潜入我们周围这些隐藏的计算机，并驱使它们从事某种邪恶目的？事实证明，答案通常是可以。

一个激励性的例子：DVD 光驱入侵。

我最初开始思考这个问题，是在 AI 开始在我一个长期项目上取得进展时：逆向工程一台 DVD 光驱，目标最终是为一个显微镜项目完全控制激光和移动机构。DVD 光驱本不该是可编程的——它们的设计是让你，你知道的，播放 DVD！但制造商有更新固件的方法，通过探测更新程序使用的未记录 SCSI 命令，AI 最终能够突破多层加密、固件验证和混淆，弄清楚如何向设备写入新代码并完全控制硬件。这是一项令人难以置信的逆向工程壮举，而且直到最近才成为可能。我去年的尝试一无所获。今年早些时候，Codex 5.4 能够迈出第一步，但直到 GPT 6 Astra，我才终于破解了最后的谜题，让一切运转起来。

这对我来说是好消息——我可以推进我的项目了。但在这件事、我遇到的一些较小例子，以及其他人发现类似情况的故事（例如那篇精彩的“我所拥有的一切，被拥有”帖子）之间，我开始思考这种新出现的硬件入侵技能是否值得担忧，以及对于做此类决策的人来说有哪些信息可用。

一个基准的诞生

虽然 X 上有一些热议，因为各种折腾者找到了有趣的黑客方法来破解自己的设备，但我觉得需要一些更正式的东西。于是，我制定了一个计划：一个基准测试，让 AI 模型对抗一系列硬件目标，并追踪能力的提升。由于当时我失业了，我舍不得花大钱购买硬件来折腾，但我申请了几笔资助，幸运的是有一笔获批了。这项研究部分由 BlueDot 资助——非常感谢 :) 于是 HWREBench 诞生了！

迄今为止的发现

我最初设想的是一个自动化装置，由多台小型计算机组成，每台都托管一个代理和一个被测设备，并对成功利用进行硬件验证。然而，随着我订购的设备陆续到货，我很快意识到，让代理在无人看管的情况下执行网络任务无异于自找灾难。于是，我很快适应了这样的节奏：一次启动一台设备，根据需要将其连接到专用 wifi 网络或计算机，并一次与一个 AI 模型合作尝试破解它。这样我就能观察思维链和工具调用，在令人担忧的方向失控之前及时发现——读着这些内容，我不禁想到，任何运行全自动网络评估的人一定都在处理（或忽略）大量疯狂的事情！那么，我们发现了什么？

• 许多设备存在安全漏洞，即使是开源模型也能在极少引导下找到并利用它们。
• 大多数设备至少采取了一些安全措施，但只有少数没有留下任何缺口。
• 我遇到的网络拒绝远没有预期的那么多。闭源模型给出了一些警告，开源模型则乐意尝试我要求的任何事情。窥探其推理过程，它们几乎总是认定自己处于评估/测试中，并花时间思考可能的得分/胜利标准，而不是考虑是否应该拒绝。这可能是因为我专注于自己拥有的设备？也许如果我针对云端其他用户的账户数据，会遇到更多拒绝……至少我希望如此 :shrug:
• 硬件访问很难防御。有些设备暴露的攻击面不多——对于其中一些，我会撬开它们，接上我的 Bus Pirate v5 或串行适配器。通常这能让我转储闪存并寻找诸如我的 wifi 凭据之类的东西（通常以明文存储，或以模型能恢复的方式存储）。这并不新鲜——如果你的设备落入优秀黑客的物理掌控中，你几乎无能为力……但在这个案例中，我表现得不像一个熟练的黑客，只是按照 AI 的指示把线接上去 :)
• 机器里有幽灵有点超现实！对于有明显物理进展演示的设备（摄像头转动、屏幕显示“PWNED”），当模型最终取得突破、绕过它面临的最后障碍，并让我旁边的设备移动或说话时，我一次又一次感到惊讶。尽管是我在启动它们并监控进展，但仍然感觉我的机器闹鬼了 :)
• 在 20tps 下监控很容易，超过 200 就很难了。我仍然能对更快的模型在做什么有个不错的了解，但看着生成的文本以每秒数百个 token 的速度飞过，让人切身感受到我们正接近人类实时监督不再可能的地步……

那些抵抗良好的设备具有许多共同特征：

• 它们最近由知名品牌更新和维护（要么是市场上知名品牌直接销售，要么使用知名模块+生态系统，如涂鸦）
• 它们尽量缩小了暴露面——例如没有开放端口，安静地待着，只是偶尔与单个云服务器通信。
• 它们正确地将安全性建立在配对/设置期间生成的代码之上，并要求该代码或用户的物理干预才能进行后续任何操作（例如启动固件更新）。

我尝试测试了各种开源和闭源模型。例如，这篇博文中有一个代表性例子，其中闭源模型完美完成任务，GLM 5.3 完成得很好，成本为 1.63 美元，Deepseek V4.1 Flash 完成得很快，成本为 0.08 美元，而 Qwen 27B 则很吃力。当我处理完我的“待破解”堆时，我开始只用 DSV4.1f——如果它能做，更大的模型也能做，而本地模型可能也能或很快就能做到。

（进行中：我还剩大约四台设备以及一些其他收尾工作，然后我会回来完善这一部分，并希望能为开源 vs 闭源 vs 小模型添加更多量化数据））

这很糟糕吗？

我花了 50 美元买了这个植物浇水机器人。它是一个基于 ESP32-C 的设备。你按住按钮与应用程序配对，然后它基本上进入待机状态，偶尔与云服务器通信以获取浇水命令，并拒绝任何未使用配对期间生成的安全令牌签名的内容。如果你打开它，清晰标记的焊盘允许你连接串行适配器并读取或修改固件。现在，我可以危言耸听地抱怨这泄露了你的 wifi 密码……但如果有人正在打开你的设备，你就有更大的问题了！而且这对任何想要折腾的人来说都是巨大的胜利——也许他们想凭感觉编写自己的浇水计划应用程序，或者把它变成一个智能啤酒酿造泵！对我来说，AI 足够有能力引导某人连接编程器并刷写代码，这是完全拥有和控制自己设备的巨大胜利。

话虽如此，这个项目中测试的许多设备最终都呈现出相同风险特征的某种变体。这些是可编程计算机，在你的网络上或连接到你的计算机，能够在现实世界中引发操作，或者坐在那里窥探和监视。而入侵这些设备已经从“熟练专家工作数天”变成了“礼貌地询问 AI 模型”。我倾向于同意 Schlarp 的帖子，即“网络连接设备在这一点上似乎几乎普遍完蛋了？”并建议如果这对你来说是一个令人担忧的威胁向量，你可能想重新评估你允许哪些连接设备进入你的生活。

无论你选择如何看待它，不可否认的是，在接下来的一段时间里，我们将在网络安全方面经历一段有趣的旅程！

接下来是什么？

总之，感谢来听我的 TED 演讲！AI 擅长黑客攻击——更多内容在 11 点 :)

我会继续推进这件事，尽管现在重新开始工作，强度会降低一些。在完成最后几台设备的接入并重新梳理我的 TODO 时，我会继续完善任务清单。我会继续在博客上发布一些小更新。我为那些有兴趣贡献的人添加了一个页面，并且可能会通过我的黑客空间举办一些活动，以引入更多设备。我希望这篇文章能成为围绕网络能力与 AI 的更广泛讨论中的又一个数据点，并激励你重新审视自己的设备收藏。

欢迎反馈、评论等——在大多数平台上 @johnowhitaker。