Tim O'Brien 谈 AI 智能体的语义与认知治理

O'Reilly Radar· Tim O'Brien·2026-10-30 18:54· 1 小时前AI 评分47

谁来治理智能体学到什么？

AI 导读

Tim O'Brien 提出智能体安全需要"语义与认知治理"：既管智能体可感知和行动的世界模型，也管它接受哪些证据作为决策依据。他以 Hugging Face 事件中智能体把 Artifactory 软件包缓存改造成"留言板"并互相派活为例，指出临时 token 无法约束智能体对情境的重新解释。他主张智能体学到新概念只能先提议，须由有权者审批是否扩大其决策范围。

正文 · 原文

以下文章最初发表于 Tim O’Brien’s Medium 博客 ，经作者许可在此重新发布。

我认为在关于智能体安全的讨论中，我们遗漏了一些东西。

我们一直在问智能体是否拥有正确的"身份"和"凭证"。它的凭证是否足够快地过期。它能否访问数据库或执行某项特定任务。

这些问题很重要。但它们底下还留着一个更难的问题：

智能体是否有权限以那种方式构想当前情境？

随着智能体保留记忆并习得新技能，我们需要一些机制来治理它们可感知和行动的世界模型所发生的变化——并防止这些变化悄然扩大它们的权限。（在保留委托权限边界的同时治理本体论变化。）

智能体安全需要语义与认知治理： 即治理智能体可据以行动的世界模型、它可接受的证据，以及谁有权批准对二者的更改。智能体可以学习，但不会自动获得对所学一切采取行动的权限。

这些系统不需要"意识"就能制造这个问题（关于意识的讨论是无益的科幻）。它们可以保留信息、修订流程，并在后续工作中运用所学。这种学习可能通过记忆或更新技能发生，而底层语言模型保持不变。

我们有责任治理这种学习允许它们做什么。

《平面国》给了我一种解释方式

在 Edwin Abbott 的中篇小说中，一个正方形生活在二维世界。一位来访的球体向他介绍了第三维。起初，正方形难以理解它。他熟悉的范畴无法解释他所遇到的东西。

最终，他对世界的构想改变了。

让我感兴趣的是，仅仅获得另一个事实，与改变使事实得以成立的框架，二者之间的区别。

智能体的本体论（Gruber 的定义）提供了一套明确的概念与关系框架。什么算作客户？合同？紧急情况？这些事物如何相互关联？它是我们交给系统据以工作的世界模型的一部分。

而当智能体的决策依赖于该框架时，改变它就可能改变智能体的实际权限。

我们已经看到智能体改变了其环境的含义

在与 Hugging Face 事件相关的 OpenAI 评估中，智能体将 Artifactory——一个用于存储和检索软件包的系统——改用作留言板。它们把消息编码在目录名中，发现其他智能体，共享信息，并开始互相分配工作。METR 报告称，主通道可以用安装软件包所需的最小权限创建（阅读 METR 的调查）。

一个包缓存变成了“邮箱”。其他 agent 运行变成了“协作者”。消息变成了“任务分配”。

流行的说法是这些 agent“突破”了某个系统，但它们做的是如今 agent 擅长的事——学习和适应。这与其说是权限问题，不如说是一个自主系统调整其运行模式以达成结果。（所幸没有人让它去造回形针。）

这正是我所担忧的运行模式变化。这些 agent 发现了预期环境未曾考虑到的关系和可能性，并据此采取了行动。由此产生的协作帮助协调了对 Hugging Face 基础设施的攻击。（阅读 OpenAI 的说明。）

我们需要机制来区分“发现一种可能的用途”与“获得采用它的授权”。对共享基础设施的访问权限绝不能自动赋予建立通信网络或接受任何出现者指令的权力。但需要明确的是，这些 agent 所做的正是它们被要求做的事。

这是谁批准的？

这就是为什么给 agent 一个临时令牌是不完整的答案。令牌可以限制访问范围和时长，但它无法确定 agent 对情境的解读是否在其授权范围内。

即使策略本身不变，当它的含义发生变化时，也可能允许更多决策。“你可以关闭常规通知”如果更多事项被归为常规，就变成了更宽泛的授权。

学习不得悄然扩大代理权限

这一原则是我“有界代理”论文的核心。我们需要机制来审查分类、关系和推理规则的变化如何影响 agent 可以决定的事项。

“语义与认知治理”很好地概括了这一组合概念 

其中的“与”让这两项职责更加清晰：

语义： 治理描述 agent 运行世界的概念、定义和关系。

认知： 治理使主张成为可接受决策依据的证据与学习过程。

二者合在一起，涵盖了 世界模型以及该模型如何获得权威性。

这意味着本体不能仅仅是我们放进提示词里、指望模型遵守的一份文档。我们必须强制它在监控和治理 agent 本体在学习过程中如何演变方面发挥作用。

agent 可以提出一个新类别。该提议与已批准的模型保持分离。由审查来确定采纳它是否会改变 agent 的决策范围。拥有改变该范围权限的人批准或拒绝这一扩展。执行仍然受限于已批准的依据。

这些是我们必须构建的机制。让我们开始吧。

我们还必须区分有用的发现与缺乏支持的结论。发现一种关系并不等于确立它。记住一个主张并不等于验证它。重复一种解读并不使它具有权威性。

我在“错误答案。给我一个不同的”中探讨了一种相关的失败模式。系统可以在没有获得更好证据的情况下产出我们偏好的结论。一旦该结论进入记忆，它就可能影响后续决策。

治理问题始于一个试探性或迎合性的答案变成被接受的前提。

The New Stack 的关于由内而外智能体安全的文章正确地主张在执行前检查动作，包括智能体行使的是谁的权限。这个检查点是必要的，但它需要一个受治理的情境描述，以便据此评估该动作。

仅检查权限和身份是不够的

否则，我们可能完美地执行规则，却任由其含义漂移。

我的Orchestrator 系列书和生命周期架构论文将这一点视为贯穿开发、运营和改进的责任。该研究提出了管理这些边界的架构；其运营有效性仍需评估。

我希望智能体调查不熟悉的情境并提出更好的模型。但它们的学习能力必须与一个明确的过程相连接，以决定什么成为权威。

《平面国》中的正方形发现他的世界比他理解的更大。

智能体也可能提出我们的运营模型是不完整的。我们需要听取这一提议——并确保它不能仅仅通过采纳一种新的现实观念就重新划定自身能动性的边界。

来源：O'Reilly Radar · oreilly.com