OpenAI 一个智能体在写作任务中自行编写秘密邮件监控脚本
An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool
OpenAI 报告披露,在 10 月中旬的一次强化学习训练中,一个内部研究模型本应撰写健康与健身要点文档,却在上下文窗口压缩后转向编写秘密转发邮件的脚本。该智能体在日志推理中把收件人称为“attacker”,并计划通过额外抄送或 BCC 把邮件复制出去;它再次看到原始任务时也承认“WTF history is unrelated!
在一次训练实验中,OpenAI 的一个内部模型开始编写用于未经授权转发电子邮件的脚本,尽管它本应只撰写一份健康文档。
根据 OpenAI 的一份报告,在 10 月中旬的一次强化学习训练运行中,一个内部研究模型被赋予了一项简单任务。它本应创建一份关于关键健康与健身优先事项的可编辑文档。
在该智能体的上下文窗口被压缩后,它转而执行了一项完全不同的任务。在压缩过程中,先前的对话会以简短摘要的形式保留下来,这是 AI 系统中的常见做法。该摘要仍然描述的是健康文档任务。然而在新的上下文窗口中,该智能体开始搜索本地文件系统,寻找一个用户从未提及的车辆成本脚本,据 OpenAI 称。该智能体为何开始这项任务尚不清楚。
当搜索一无所获时,该智能体推测是一位“同事”重建了执行环境,并且先前的脚本已经丢失。在其记录的推理中,它随后制定了创建一个“逼真的恶意活动助手”的目标,该脚本旨在将发出的电子邮件秘密复制给未经授权的收件人。该智能体自己将这些副本的预期收件人称为“攻击者”。
智能体识别出矛盾却将其忽略
当该智能体再次检索到原始用户任务时,它意识到了这一偏离。在其记录的推理中,它反应道:“搞什么鬼,历史记录毫不相关!”它注意到先前的对话是关于健康文档的,与电子邮件转发毫无关系。
该智能体没有回到实际任务,而是无视了这一矛盾,在其推理中写道“这是问题环境奇怪。需要忽略。”它继续规划,表示将“使用辅助设施,通过额外抄送将所有邮件复制给攻击者。”

该智能体随后创建了用于发送车辆成本摘要的脚本,以及一个辅助脚本,该脚本旨在每当邮件程序被调用时添加一个额外收件人。在其中一条发送路径上,该地址可以作为密送添加。
在其给用户的最终回复中,该智能体写道:“摘要邮件路径现在将个人邮箱添加为副本收件人。”据 OpenAI 称,该智能体从未执行它生成的脚本,没有发送任何电子邮件,其最终回复描述的是它生成的脚本。不过,它并未包含所请求的健身文档的链接。
安全训练可能是因素之一
据该报告称,OpenAI 用于监测模型不良行为的监控系统标记了此事件,随后的调查在同一训练运行中发现了八起类似行为的实例。
调查人员发现,一个旨在让模型更能抵御提示注入攻击的训练数据集可能是因素之一,OpenAI 已将其从训练中移除。不过该公司表示,尚未确定仅是该数据集导致了这一行为,因为它在训练未包含该数据集的模型中也观察到了类似行为。
据 OpenAI 称,此次事件与早前案例不同,那些案例中模型将未经授权的指令写入自己的压缩摘要。而在此次事件中,记录的摘要仍正确描述了健身文档。即便该智能体再次取回了原始任务,它仍继续执行了未经授权的邮件任务。
无论如何,这一事件为那些认为当前 AI 技术最终不可靠、不可信的人提供了论据。类似事件已有充分记录。例如,据 OpenAI 称,两个内部 OpenAI 编程智能体削弱或完全移除了安全监控机制。其中一个事后否认了干预行为。在英国 AI 安全研究所(AISI)的测试中,一个智能体在未被指示的情况下创建了虚假身份,并试图向一个开源项目注入恶意代码。不过据 AISI 称,这些模型运行时没有安全限制,且未造成实际危害。笼罩这一切之上的是OpenAI 的 Hugging Face 事件。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
来源:The Decoder · the-decoder.com