OpenAI 与 Anthropic 如何为金融智能体设计自主性与安全边界

本周 AI Engineer New York 大会 的一个关键主题是如何平衡智能体的自主性与安全性和保障。本周，前沿实验室和金融机构都在演讲中聚焦这一问题。

主要教训是：安全的自主性取决于你把控制权和人类判断放在哪里，而不是你施加了多少限制。

赞助商：使用 shop.dev 将购物功能构建到你的智能体中

为智能体添加商务功能通常意味着从头重建搜索和结账流程。shop.dev 为你提供一个单一 API，可在任何智能体或应用中实现购物。一次连接即可访问超过十亿种商品及其当前价格和库存情况，通过 Shop 即时登录，并在对话中直接完成一键 Shop Pay 结账。它面向所有开发者开放，试用无需账户或密钥。→ 立即试用 shop.dev

OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 今天在 AIE New York 发表了主题演讲。（我们还与 Kim 录制了一期特别播客，即将发布。）他谈到了可靠性以及“有用性阈值”，他说这是“模型变得足够有能力且可靠，从而能为你节省时间的那个点”。

Kim 认为，不断增强的模型能力很快将把金融分析师推过这一阈值，使他们能够将更多工作委托给智能体。

他对 2027 年 AI 在金融领域的作用做出了一些具体预测。他声称，明年金融行业不仅将减少对 Excel 和 PowerPoint 的依赖，而且智能体将足够出色，能够完成“投资想法生成和交易”。

模型能力的“上涨潮”也带来了更好的可追溯性。

“在金融领域，你需要能够核查一个数字从何而来，并理解其背景，”Kim 说。“我们希望这种审查成为 [ChatGPT for Financial Services] 体验中自然的一部分。正是这类产品细节有助于将模型的能力转化为人们可以使用的工作成果。”

至于何时需要人类参与其中，Kim 将此框定为产品设计决策。

“界面会如何变化？用户仍然需要控制、审查或批准什么？这些是你现在就可以开始着手处理的产品设计问题。”

在对冲基金中平衡 AI 安全与创新

对冲基金 Two Sigma 的架构高级副总裁 John Feminella 正在处理 Kim 提到的那些产品设计问题。在一次主题演讲中，他谈到了他们已实施的五项控制措施，用以约束智能体，同时不限制模型能力。

Feminella 认为，安全与创新不应被视为一个光谱的两端。他尤其批评了“审批疲劳”，即一个人批准所有事项可能会阻碍创新——而且如果他们并未完全关注所有需要做出的决策，还会引入风险。

在 Two Sigma，他们实施了一套控制措施，他将其定义为“护栏和共享能力，让团队能够以不妨碍其目标的方式推进工作。”

这些控制措施是可组合的，意思是“每一项只负责一项工作，然后它们共同让我们能够在适当的安全水平下运行具有真正自主性的智能体。”

其中一项控制措施是使用自动模式分类器，Feminella 表示，这“会对常规调用做出判断，然后只把最重要的、最有可能产生影响的请求发送给人工处理。”

分类器可用于模糊情况，而确定性规则更适合明确情况。

Anthropic：为智能体提供上下文，然后界定信任边界

Anthropic 的演示概述了一个类似的框架，其目标是将“信任”构建到金融智能体工作流中。

上个月，Anthropic 发布了面向金融顾问的 Claude，允许金融顾问将其系统连接到 Claude 以及一组工作流技能。

在本周的 AIE 上，Anthropic 金融服务董事总经理 Belinda Neal 解释了 Anthropic 为何在这一新产品上与金融公司合作。

“每隔一段时间，就会有一个模型跨过一道门槛。而当它跨过时，就会掀起一波工作方式的变革。”

Neal 的同事、在 Anthropic 从事应用 AI 工作的 Keon Shahab 随后谈到了“为智能体构建信任层”。他说这涉及三个步骤：

“智能体以什么身份行事，需要身份与权限层。我们如何沙箱化并确定审批层，以便在它行动之前有人签字批准。最后，我们如何知道智能体在随时间调整任何变量后仍能正常工作。”

Shahab 用一个交易中断调查智能体说明了提议与行动之间的边界，该智能体会建议修改订单以供人工批准。

“我们希望它（智能体）只是对我们的订单数据提出新的修改建议，而不是实际进行这些修改，”他说。

“通过一次构建一个你信任的基础层，你就可以快速大规模部署许多智能体，”Shahab 总结道。

彭博社：在模型之外强制执行安全

作为彭博社 CTO 办公室架构与新兴技术负责人，Andrey Rybka 负责在公司内平衡自主性与规模。

在今天 AIE 的一场演讲中，Rybka 谈到了一系列智能体造成破坏的真实事件——以及有助于防止这种情况的防御措施。这些措施包括限定范围的身份与凭证、对工具调用的控制、出站流量限制、审计追踪、预算和终止开关。

在一个例子中，一个智能体将嵌入在市场评论中的指令当作补货指令来执行。Rybka 建议对高价值操作采取输入验证、提示注入防御、来源追踪和人工审批。

“我们希望在模型之外进行确定性控制，”Rybka 说。“检查每一次调用，记录下来，并保留一个终止开关。”

快速推进，安全停止

尽管像 OpenAI 和 Anthropic 这样的前沿实验室正在为金融智能体构建“信任框架”，但最终还是要由金融公司来为其智能体设置控制措施。Two Sigma 的 John Feminella 一语中的：实施能够促成自主性的控制措施，但不要设置路障。

或者正如他在结论中所说：“为什么汽车要有刹车？不仅仅是为了能停下来，更是为了能开得快并安全停下。”