OpenAI、Anthropic 与 Two Sigma 在 AIE NY 谈金融智能体的自主与安全边界

Latent Space· Richard MacManus·2026-10-15 05:40· 2 小时前AI 评分50

跨越阈值：OpenAI 与 Anthropic 如何应对金融智能体的自主性与安全性

AI 导读

AIE 纽约大会上，OpenAI 的 Joseph Kim 提出“实用性阈值”概念，预测 2027 年金融模型将很少用 Excel 和 PowerPoint，智能体能胜任投资想法生成和交易。

正文

本周 AI Engineer New York 大会的关键主题之一是如何平衡智能体自主性与安全性和安全性。本周，前沿实验室和金融公司都在演讲中聚焦这一问题。

主要经验是：安全的自主性取决于你把控制权和人类判断放在哪里，而不是你施加了多少限制。

赞助商：用 shop.dev 将购物功能构建到你的智能体中

为智能体添加商务功能通常意味着从头重建搜索和结账流程。shop.dev 为你提供一个单一 API，可在任何智能体或应用中购物。一次连接即可访问超过十亿种商品及其当前价格和库存情况，通过 Shop 即时登录，并在对话中直接完成一键 Shop Pay 结账。它对任何开发者开放，试用无需账户或密钥。→ 立即试用 shop.dev

Joseph Kim，OpenAI 金融服务 ChatGPT 负责人，今天在 AIE 纽约大会上发表了主题演讲。（我们还与 Kim 录制了一期特别播客，即将发布。）他谈到了可靠性以及“实用性阈值”，他说这是“模型变得足够强大和可靠，从而为你节省时间的那个点。”

Kim 认为，不断增强的模型能力很快将把金融分析师带过这一阈值，让他们能把更多工作委托给智能体。

他对 2027 年 AI 在金融领域的作用做出了一些具体预测。他声称，明年金融行业不仅会减少对 Excel 和 PowerPoint 的依赖，而且智能体将足够出色，能够完成“投资想法生成和交易”。

模型能力的“水涨船高”也带来了更好的可追溯性。

“在金融领域，你需要能够核查一个数字从何而来，并理解其背景，”Kim 说。“我们希望这种审查成为 [ChatGPT for Financial Services] 体验的自然组成部分。正是这类产品细节帮助将模型能力转化为人们可以使用的工作成果。”

至于何时需要人类参与其中，Kim 将此框定为产品设计决策。

“界面会如何变化？用户仍然需要控制、审查或批准什么？这些是你现在就可以开始着手的产品设计问题。”

在对冲基金中平衡 AI 安全与创新

John Feminella，对冲基金 Two Sigma 的架构高级副总裁，正在处理 Kim 提到的那些产品设计问题。在一次主题演讲中，他谈到了他们已实施的五项控制措施，用以约束智能体而不限制模型能力。

Feminella 认为，安全与创新不应被视为一个光谱的两端。他尤其批评“审批疲劳”——当一个人对所有事情都予以批准时，可能会抑制创新，而且如果他们并未完全关注所有必须做出的决策，还会引入风险。

在 Two Sigma，他们实施了一套控制措施，他将其定义为“护栏和共享能力，让团队能够以不妨碍其目标的方式推进工作。”

这些控制措施是可组合的，意味着“每一项各司其职，然后它们共同让我们能够在适当的安全水平下以真正的自主性运行智能体。”

其中一项控制措施是使用自动模式分类器，Feminella 表示，这些分类器“对常规调用做出决策，然后只将最重要的、最有可能产生影响的请求发送给人工处理。”

分类器可用于模糊情况，而确定性规则更适合明确情况。

Anthropic：为智能体提供上下文，然后界定信任的边界

Anthropic 的演讲概述了一个类似的框架，其目标是将“信任”构建到金融智能体工作流中。

上个月，Anthropic 发布了Claude for Financial Advisors，允许财务顾问将其系统连接到 Claude 以及一套工作流技能。

在本周的 AIE 上，Anthropic 金融服务董事总经理 Belinda Neal 解释了 Anthropic 为何与金融公司就该新产品展开合作。

“每隔一段时间，就会有一个模型跨越一道门槛。而当它跨越时，就会掀起一波工作方式的变革。”

Neal 的同事、在 Anthropic 从事应用 AI 工作的 Keon Shahab 随后谈到了“为智能体构建信任层”。他表示这涉及三个步骤：

“智能体以什么身份行事，需要身份和权限层。我们如何沙箱化并确定智能体的审批层，以便在其行动之前有人签字确认。最后，我们如何知道智能体在随时间调整任何变量后仍能正常工作。”

Shahab 用一个交易中断调查智能体说明了提议与行动之间的边界，该智能体会建议订单修改以供人工批准。

“我们希望它（智能体）只是对我们的订单数据提出新的修改建议，而不是实际进行这些修改，”他说。

“通过一次性构建一个你信任的基础层，你就可以快速大规模部署许多智能体，”Shahab 总结道。

彭博：在模型之外强制执行安全

作为彭博 CTO 办公室架构与新兴技术负责人，Andrey Rybka 肩负着在公司内平衡自主性与规模的责任。

在今天 AIE 的演讲中，Rybka 谈到了一系列智能体造成破坏的真实事件——以及有助于防止此类事件的防御措施。这些措施包括限定范围的身份和凭证、对工具调用的控制、出站流量限制、审计追踪、预算和终止开关。

在一个示例中，一个代理将市场评论中嵌入的指令视为补货指令。Rybka 建议对高价值操作采取输入验证、提示注入防御、来源追踪和人工审批。

“我们希望在模型之外进行确定性控制，”Rybka 说。“检查每一次调用，记录下来，并保留一个终止开关。”

快速行动，安全停止

尽管像 OpenAI 和 Anthropic 这样的前沿实验室正在为金融代理构建一个“信任框架”，但最终还是要由金融公司来对其代理实施控制。Two Sigma 的 John Feminella 一语中的：实施能够实现自主性的控制，但不要设置障碍。

或者正如他在结论中所说：“为什么汽车要有刹车？不仅仅是为了让你能停下来，而是为了让你能快速行驶并安全停止。”

来源：Latent Space · latent.space