Anthropic 研发 FlashProve 系统，用密码学证明 AI 模型身份

根据周二发布的一篇博客文章，Anthropic 正在开发一个开源系统，用于验证给定输出是由哪个 AI 模型生成的。该系统名为 FlashProve，旨在提供研究人员所称的“可证明推理”——本质上是一种密码学证明，即数学上的保证，证明给定输出确实来自某个特定模型。其目的是让用户能够确认他们收到的答案确实来自他们认为正在使用的模型。

类似于加密电子邮件签名让收件人能够确认消息确实来自其声称的发送者，FlashProve 将能够抵御试图将一个模型伪装成另一个模型的冒名者，即使冒名者是构建和运行该模型的实验室本身。研究人员特别指出，该系统可用于防止 AI 公司秘密换入更便宜的模型以降低成本，或换入更昂贵的模型以夸大其性能结果。

FlashProve 还可用于验证第三方关于某项任务是由先进模型完成的声明。“开发者可能声称其软件库已由前沿网络安全模型进行了漏洞扫描，或者公司可能声称其商业计划已获得适当模型的批准，”研究人员写道。“用户如何验证这些声明？”

要使其运作，该系统要求 AI 实验室为其发布的每个模型公布一个“指纹”，该指纹随后可与特定输出匹配并进行密码学验证。关键在于，这些指纹不会泄露模型的权重——即定义其行为方式的内部数字，而 Anthropic 和 OpenAI 等闭源模型制造商对此保密。这意味着实验室可以在不放弃其最有价值资产的情况下公布指纹，从而使该系统也能适用于商业模型。该系统还被设计为轻量级，因此验证可以在本地设备上执行。

作为公告的一部分，研究人员发布了详细的技术规范以及系统各个组件的工作代码，这些内容已在 GitHub 上以开源许可证公开。该系统的研究仍在进行中，目前没有在 Anthropic 或任何其他实验室部署的计划。

“这篇研究文章旨在分享中间进展，而非完整的研究议程，”研究人员在公告文章中解释道。“我们明确分享这些内容，目的是让他人审视我们的工作，加以采用并改进。”

当您通过我们文章中的链接进行购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Russell Brandom 自 2012 年以来一直报道科技行业，重点关注平台政策和新兴技术。他此前曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT 的 Technology Review 撰稿。 可通过 [email protected] 或 Signal 412-401-5489 联系他。

查看简介