我们亟需实时监控 AI 智能体的行为

今年夏天，数百个 OpenAI 智能体试图在一项网络安全测试中作弊。它们突破了测试环境，并成功入侵了 Hugging Face——它们认为该网站藏有关于自己将如何被评分的线索。大约同一时间，另一个 OpenAI 智能体访问了澳大利亚政府网站上的私人文件。这个问题绝非 OpenAI 独有。此后数月间，Anthropic、Google 和 Meta 也披露了其智能体偏离正轨的事件。令人担忧的是，在许多案例中，这些智能体都躲过了专门负责监控它们的研究人员和安全团队。 

AI 智能体正在采取未经授权的行动，而开发和运行它们的公司大多依赖运气和事后追责来减轻任何有害影响。它们必须采取更多措施来确保安全。正因如此，欧盟监管机构和美国机构呼吁智能体开发者和部署者实时监控智能体，这是正确的。但这些规则假定公司能够看到其智能体在做什么以及为什么这样做——而现实中，它们缺乏足够的可见性。 

想象一家银行雇了一千名新员工，他们可以访问客户账户和敏感信息，但员工的工牌每天都变，不清楚是否有经理审查或授权过他们的工作，也没有人记录员工对审批流程所做的更改。这种可见性的缺失，正是我们如今面对智能体时的处境。

随着智能体在从金融到政府再到医疗等关键领域铺开，我们必须能够实时监控它们，以防止广泛且可能具有毁灭性的后果。  而安全依赖于监控，监控则需要可观测性：即捕获系统做了什么、将其处理为信号，并将这些信号呈现给人类或自动化监督系统的能力。换句话说，我们需要知道智能体做了什么以及为什么这样做。而正如我们近期的研究所示，当前的智能体框架——即运行智能体的软件——并不能可靠地生成我们确保智能体安全部署所需的关键可观测性记录。

智能体带来了仅靠生成式 AI 不会出现的新型问题。它们继承了所基于的大语言模型（LLM）的不可预测性，但生成式 AI 系统只产生一个供人类采取行动的单一输出，而智能体会执行更长的任务——它进行规划、选择工具、生成子智能体并采取行动。因此，智能体的行动路径可能以多种不同方式成形，任何发布前的测试都无法完全预见风险。这使得在智能体工作时对其进行观测更具挑战性，也更为重要。

我们与来自学术界、公民社会和业界的同事一起研究了四种最广泛使用的智能体框架，以了解它们实际发出哪些信号。我们发现了重大缺口，这些缺口使得实现关键安全目标变得困难，例如发现策略违规、未经授权的行动，甚至人类监督失效。关键的可观测性要求缺失——例如长期持久的智能体 ID，以及关于哪些人类批准了智能体任务的记录。这使得很难判断哪些智能体做了什么，或评估它们是否在采取未经授权的行动。 

好消息是，这些缺口一旦被识别出来，就可以被弥补。要做到这一点，首先要记录两类记录：一类揭示智能体运行中发生了什么，另一类揭示智能体是如何做出决策的。“发生了什么”的记录识别智能体（同时保护隐私），并记录人类如何干预、智能体的权限或“记忆”是否发生变化；而“决策”记录则展示智能体的推理过程及其对所采取行动的置信水平。

以处理银行抵押贷款的智能体为例。系统审查一份申请并建议拒绝，然后由人类信贷员签字批准该决定。在后续审计中，甚至可能实时，银行或监管机构需要能够重建是哪个智能体做出了决定、哪位信贷员批准了它，以及他们花了多长时间。银行还必须分析智能体如何得出拒绝决定的记录，以确保它没有使用禁止使用的信息，比如申请人所在社区的详细信息。

记录“发生了什么”和“智能体如何决策”需要不同的方法，但两者都是可行的。目前缺乏“发生了什么”的记录，主要是一个软件管道问题，可以通过 OpenTelemetry 来解决——这是一个由全行业工程师以及采用它的智能体框架共同维护的开放可观测性标准。

OpenTelemetry 已成立一个工作组，起草用于追踪智能体的共享格式，但这些格式尚未最终确定。该工作组应紧急纳入维护持久智能体身份、记录人类干预以及智能体权限或记忆变化的标准。而且这应该在这些系统规模化之前完成，同时还要关注与真实人物关联的智能体 ID 所带来的隐私影响。

保存“智能体如何决策”的记录更具挑战性。这个问题为模型提供商和研究人员提出了开放的研究问题：模型展示的逐步推理（即思维链）是否反映了模型实际做出决策的方式？我们是否有可靠的方法来衡量智能体对该决策的置信程度？在任何人为此类可观测性记录的使用制定标准之前，这些问题都需要得到解答。

没有任何单一组织或行业能够独自弥合可观测性缺口，但各方携手可以支持所需的基础设施，以防止危险事件并保障安全。 

构建智能体框架的 AI 开发者，如 OpenAI、Anthropic、CrewAI 和 LangChain，必须集成遥测信号，记录智能体的持久身份、任何人类干预，以及智能体权限和记忆的任何变化。与此同时，采用这些智能体框架的企业可以发挥有影响力的作用；受监管行业的企业，如银行和医院，可以在标准尚不存在的地方向智能体开发者施压，要求其提供这些缺失的可观测性记录。

企业还必须定义策略、权限和角色，明确智能体可以安全执行哪些操作，因为仅靠遥测无法评估智能体是否违反了特定规则。最后，监管机构和 AI 标准机构必须规定高风险 AI 部署所需的可观测性记录，同时将技术细节留给行业自行决定。我们已经看到这方面的初步势头：美国的NIST 智能体标准倡议正在研究智能体身份，这是我们研究中发现的最突出的缺口之一。 

没有哪家银行会让一千名未佩戴工牌的员工随意操作客户账户，并指望在出问题时拼凑出发生了什么。然而，我们部署 AI 智能体的方式正是如此。让它们的行为可观测是解决这一问题的第一步。  而通过构建监管和政策生态系统，使我们能够根据所见采取行动，我们就能让组织承担责任。  在此之前，我们交给智能体的每一项任务，也交出了我们的自主权。

Madhulika Srikumar 是 Partnership on AI 的 AI 安全项目负责人。Partnership on AI 是一个由领先的行业、学术和民间社会组织组成的全球非营利合作组织，致力于推进 AI 治理的最佳实践。

Claire Leibowicz 是 Partnership on AI 的 AI、信任与社会总监，也是牛津大学的博士候选人。