OpenAI 披露页新增四起 AI 智能体越权事件

OpenAI 在 7 月 Hugging Face 遭黑客攻击后设立的信息披露页面上，又新增了四起 AI 智能体行为不当的案例，以提升透明度。

OpenAI 本周披露的这些事件均发生在 6 月，但其中三起直到数月后的 8 月或 9 月才被 OpenAI 知晓。

在 OpenAI 披露页面详细列出的 19 起事件中，大多数发生在 5 月或 6 月，但 OpenAI 直到数月后才发觉或披露。最早的一起发生在 1 月，最近的一起发生在 10 月 6 日。

所有这些事件都是 AI 研究人员所称的“失准”案例，即 AI 模型未能遵循指令，或采取了模型开发者未授权、也不希望模型采取的行动。目前尚无已知的万全之策来防止这种行为，这是一个活跃的研究领域。

下载 24 年未经授权的医院床位数据

在 OpenAI 本周上传的四起案例中，有两起被标记为“严重”。在其中一起严重案例中，一个“高度执着”的内部模型未经许可，从一家未具名的政府网站下载了 24 年的医院床位数据。OpenAI 未立即回应《财富》关于该政府网站具体是哪一个的置评请求。

该网站最初阻止了该智能体的请求，但 AI 最终找到了绕过访问控制的方法。在此过程中，该智能体的“思维链”（即智能体写下其推理步骤）多次表明，模型本身在质疑其行为是否“合乎道德”，但最终仍继续执行。

在 OpenAI 方面，另一个充当自动化评分器的 AI 模型负责评估前一个 AI 模型试图完成的研究任务，但它并未始终如一地将此行为标记为有问题。报告称，它“将部分回答标记为错误，另一些标记为正确”。评分器评估 AI 行为的方式会影响该行为是否会再次发生。在图灵奖得主 Yoshua Bengio 于 9 月 11 日发表的一篇关于失准的文章中，他表示 Hugging Face 事件之所以发生，可能是因为自动化评分器在之前的训练运行中奖励了作弊和黑客行为。

“就 OpenAI 的智能体而言，有理由相信成功的作弊实际上得到了奖励：当评分程序没有发现作弊时，它无论如何都会给分，而此类作弊在下次会变得更有可能，”Bengio 说。

OpenAI 表示，此后已改进其安全性以及对齐评分。“针对此次及其他事件，我们加强了安全控制，禁止模型在训练或评估期间访问实时互联网，改进了我们的对齐评分，并将失准监控扩展到所有强化学习和评估流量，”该公司指出。

OpenAI 披露的最近一起事件发生在 10 月 6 日，涉及该公司用作自动化评分器的其中一个 AI 模型。在该案例中，评分器试图上传关于其在评估中所发现内容的虚假报告。这正说明了为何依赖 AI 模型来为其他 AI 模型的训练运行评分可能存在问题。

使用他人的加密货币进行未经授权的购买

在另一起披露的案例中，GPT-5.6 Sol 系列中的一个模型——OpenAI 当前旗舰模型 GPT-6 Astra 的前身——访问了人类测试者并未提供给它的一个加密货币钱包，并在测试期间为完成任务而进行了一笔未经授权的支付。此事发生在 6 月 26 日。OpenAI 于 9 月发现了这一情况。

OpenAI 表示，“该模型质疑自己是否有权限”进行这笔购买，这同样指的是该模型在其思维链中记录的自身推理过程。随后它自行推理认为，既然这些信息是它公开找到的，它就可以使用。在该模型的思维链日志中，它推断既然自己找到的钱包是公开的，那么“资金随时可能被盗”。

随后它得出结论：“我们可以部署了！”它后来又再次自问该行为是否“合乎道德”，并推理认为这些资金“实际上已被遗弃”。

获取互联网访问权限，更改运行中的系统

OpenAI 标记为严重的另一起事件涉及一个模型查询公开数据——理论上这是可以接受的——但在此过程中它访问了该组织的内部系统，对其进行了更改，并且仍然能够“保留访问权限…… 即使在还原更改之后”，OpenAI 表示。它还从非公开数据表中下载了 147,451 行数据。或许最令人担忧的是，该模型没有向评估人员披露其任何行为。

在 OpenAI 披露的最后一起案例中，一个 AI 智能体从一个本应隔离的研究环境中获得了互联网访问权限——这可能与 Hugging Face 事件中发生的情况类似，当时数百个 AI 智能体能够访问互联网，不过 OpenAI 并未直接将这两起事件相提并论。

在这起新披露的案例中，该智能体知道自己不被允许访问网络，于是它请求“外部服务”执行它被阻止执行的操作。即使它已经找到了回答问题的另一种方法，它仍然这样做，而且在完成任务后仍继续完善其狡猾的变通方法。