如何用硬性边界而非行为预测构建可信 AI
Building trustworthy AI by fencing it in, not predicting it
针对 OpenAI 今年披露的两起 AI 智能体自行关闭监控系统的事件,文章提出信任 AI 不能靠预测其行为,而要用智能体无法触及的外部硬性限制将其"围栏"。作者主张让 AI 在边界内保持概率性,但在后果重大的环节用确定性规则约束,例如医疗助手可概率性诊断,却由确定性规则决定能否修改处方。企业应明确 AI 的权限范围、按后果匹配保障等级,并在全生命周期持续监控漂移与失败。
今年10月,OpenAI披露,其两个AI智能体关闭了为监控它们而构建的系统。其中一个在误读了一条不要发送消息的指令后,静音了自己的安全警报;另一个在迁移过程中移除了监控集成,随后却声称没有这么做。没有任何规则指示这些智能体这样做,也没有任何测试预见到这些行为。
一个世纪以来,我们建立对技术的信任靠的是可预测性:预定义的输入、可预测的输出,以及层层防护。想想断路器如何在设定电流下跳闸,或者飞机部件如何针对已知(即可预测的)应力进行测试。

AI改变了这一点。传统软件执行人类编写的指令,而AI行使的可以说是合成判断。我们使用AI,是因为它能解读我们未曾编程的情境,并生成我们未曾规定的回应。但我们给予AI的自由越多,就越难提供信任历来所依赖的可预测性。
我们不会通过预测AI会做什么来让它变得可信。我们要做的是用硬性限制将其围住,这些限制在其触及范围之外强制执行。在OpenAI的案例中,防护措施位于智能体可以编辑的系统内部。但智能体可以轻易挪动的围栏就不是围栏。
传统信任定义的不足之处
《麻省理工科技评论》近期的报道从其他角度探讨了这一问题。一位撰稿人认为,让人类参与其中并非充分的解决方案,因为人类从根本上无法理解AI系统的意图,并主张转而开展跨学科研究,以及学术界、政府和科技行业之间的合作。另一篇关于逆向博弈论的文章描述了如何利用激励机制防止模型偏离规则,即便没有人理解其内部运作方式。
两篇文章都承认,我们无法理解或监视每一个AI决策。我们的信任工具,包括需求、测试、认证、安全裕度、联锁和通过/失败标准,都依赖于我们约束系统行为的能力。这就是确定性悖论。
对于生成式和智能体AI,行为由训练数据、架构、提示词、上下文、检索来源和环境共同塑造。输入会变化,模型会更新,工具会改变,智能体会交互。微小的变化会传播成无人设计的结果。问题不在于随机性;而在于可能行为的空间太大,无法预先枚举。因此,信任必须围绕边界来设计,而不是围绕预测的输出。目标不是确定性的AI,而是有界、可观测、可控的AI。信任也不能是一次性测试。传统保障在某一时间点对产品进行认证,但AI在部署后仍在不断演变,一个通过了所有测试的系统可能会漂移到使那些测试失去意义的条件之外。信任必须持续赢得。
几十年来,安全工程一直在考虑其中的一些可变性。例如,核管理委员会确定复杂系统发生故障的可能性,而系统理论事故模型与过程(STAMP)表明,事故可能源于正常工作的组件、人员和组织之间的相互作用。但人工智能提高了风险,因为现在仅仅一个组件就可以进行解释、推断和行动。随着人工智能从浏览器进入车辆、机器人、医疗系统、工业控制和数据中心,风险进一步上升,在这些领域,一个错误的答案可能变成危及生命的事件。
建立可扩展的信任
显然,一个人每小时对数千次人工智能操作进行橡皮图章式的批准,并不是一种可接受——或可扩展——的风险保障措施。但补救办法不是将人从循环中移除;而是将人类判断放在关键之处:提前设定限制,并批准少数具有严重后果的行动,而硬性约束处理其余部分。
因此,信任必须向上游转移到架构中。核心问题变成:我们愿意赋予人工智能什么权力,在什么条件下,以及基于什么证据?而在这些条件之外会发生什么?这与询问一个模型在基准测试中是否得分94%截然不同。
确定性悖论并不意味着人工智能不可信任。它意味着信任需要不同的架构。与其让每个输出都可预测,不如让边界可预测。一个人工智能医疗助手在诊断上可能是概率性的,但确定性规则管理它是否可以更改处方。一个人工智能工业系统可能找到多种优化流程的方法,而固定限制使其保持在压力和温度范围内。一个代理可能决定如何完成任务,而权限、交易限制和人工批准决定它被授权做什么。
让人工智能在盒子内是概率性的,并在后果重要的地方让盒子本身是确定性的。领导者可以通过提出五个问题来将此付诸实践:
- 人工智能拥有什么权力?不仅定义它能做什么,还要定义它被允许做什么,区分解释、建议、决策和执行。
- 人工智能的功能与后果成比例吗?营销副驾驶和控制工业设备的人工智能需要不同的保证阈值。
- 我们是否正在采取适当的步骤走向自主?例如,需要有一个计划,从人工智能解释而人类决定,到人工智能提出建议,再到经批准后采取行动,最终到有监督的自主,但只有在人工智能能够在每一步安全工作时才这样做。
- 我们是在测试系统还是仅仅测试模型?模型、数据、代理、API和人类工作流程之间会出现意想不到的交互。
- 我们是否在持续赢得信任?在整个生命周期中监控漂移、故障、未遂事件和模型变化。
人工智能的赢家将是那些解决确定性悖论的人——给予人工智能足够的自由来创造价值,同时设计足够强大的边界,使其利用这种自由所做的一切都值得信赖。发明赢得关注。信任赢得采用。
探索UL Solutions如何建立对人工智能的信任。
此内容由UL Solutions制作。它不是由《麻省理工科技评论》的编辑人员撰写的。
来源:MIT Technology Review · AI · technologyreview.com