开放模型有切实好处，但能否抵消风险？

MIT Technology Review 解释： 让我们的作者为你理清科学和技术这个复杂而混乱的世界，帮助你理解接下来会发生什么。你可以在这里阅读更多该系列文章。

上个月末，Anthropic 发布了一份报告，认为 GLM-5.3 模型构成重大网络攻击风险。该报告的核心担忧在于，这款由中国公司 Z.ai 于 8 月发布的强大新模型可被任何人自由下载和修改。Anthropic 的论断只是这场旷日持久争论中的最新一步：前沿 AI 模型究竟应该像 GLM-5.3 一样开放，还是应该被锁在前沿实验室的大门之后。 

如今，关于如何处理开放模型的许多争论都在公开进行——而其结果牵涉大量金钱。如果人们继续购买自己的硬件来运行开放模型，英伟达 CEO 黄仁勋将获益良多，因此他热情主张美国开发更多此类模型；而 Anthropic 的 Dario Amodei 则主张采取更谨慎的做法，因为他所经营的公司可能会被廉价而强大的模型削弱。但在所有这些商业动机之下，关于开放模型的分歧确实有实质内容。

“我认为，你在开放性问题辩论中的立场，很大程度上受到你在 AI 辩论中立场的影响，”德克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。那些关注 AI 安全的人警告说，开放模型很容易被恶意行为者滥用；而更关注 AI 实际潜力的人则主张，这种力量不应掌握在少数大公司的紧闭大门之后，开放模型可以帮助将其更广泛地传播。

在完全禁止开放模型和随意发布开放模型之间，有一系列处理方式。但政府或社会可能采取的任何做法，仍然涉及安全与民主化之间的权衡。决定是支持还是限制开放模型的生产，需要深入理解这些风险与收益。

开放模型有哪些好处？

让我们从基础说起。像驱动 ChatGPT 和 Claude 的模型那样的闭源模型，只能通过网站、应用或 API 访问。而开放模型则可以直接下载：其内部结构的细节，编码在一长串被称为模型权重的数字中，是公开可用的。这类模型有时被称为“开放权重模型”，以区别于那些连更多信息（例如训练过程的细节）都可获取的模型。 

目前，闭源模型比开放模型能力更强——截至发稿时，Artificial Analysis LLM 排行榜上的前八名模型都是闭源的，不过开放模型在开发上只落后几个月。但人们可能有若干理由选择使用开放模型而非闭源模型。由于开放模型可以下载，人们可以在自己的电脑或硬盘上运行它们。如果有相应的专业知识和资源，他们甚至可以重新训练模型，使其行为有所不同。 

如果你是一名致力于理解和改进 AI 系统的学术研究者，那么你在研究中几乎肯定需要使用开放模型。使用闭源模型时，研究者除了发送提示词并观察回复之外，能做的事情不多。但研究者可以观察开放模型的内部运作，以及模型在回答前用来思考问题的“思维链”。他们还可以组合多个开放模型来构建新系统，对它们进行压缩以提高效率，并针对新应用对它们进行微调。

企业也有理由偏好开放模型。根据 Mozilla 最近的一份报告，即使你依赖外部提供商为你运行它们，开放模型的成本通常仍低于闭源模型。而且，如果企业想使用 AI 处理敏感数据或专有信息，在自有硬件上运行本地模型可能是保持其运营安全的最佳方式。

但也许开放模型最重要的特质在于，它们挑战了前沿实验室对大多数人如何使用 AI 的严密控制。“（支持开放模型的）最清晰、最重大的论点是防止权力大规模集中——这关乎确保这项基础技术是一种公共产品，”托尼·布莱尔全球变化研究所高级政策顾问 Elizabeth Seger 说。“我认为我们正处在这个关口：谁控制着让 AI 得以运行的基础设施，这个问题与谁有权控制互联网上的信息一样重大。”

Seger 认为，AI 的未来会以不同方式展开，取决于开放模型所扮演的角色。在一种可能的未来中，前沿 AI 系统完全由特定的人、公司或政府控制，而随着这些系统变得更强大，这些群体对我们世界面貌的控制也会越来越强。例如，世界上最复杂的黑客模型目前都由美国制造，因此其他国家能否使用它们来加强自身的网络防御，完全取决于美国公司和美国政府。如果这些公司继续保持领先，我们原则上可能最终进入这样一个世界：美国能够入侵任何其他国家，但没有任何国家能够入侵美国。

前沿开放模型可能会改变这种平衡。“如果每个人都拥有一个忠于他们、安全[且可靠]的 AI 系统，我认为那样的世界会比他们只能依赖一个政府说‘是的，我们有一个超级智能 AI 系统，它有这样的计划，对你们所有人来说都难以理解，相信我们就好’的世界更令人安心，”长期韧性中心 AI 政策主任 Hamish Hobbs 说。

但开放模型并非地缘政治的万能药。Paul Azunre 是 Ghana NLP 的联合创始人，该组织为低资源的加纳语言构建开源 AI 工具。他指出，开放模型也可能成为公司从较不富裕国家的劳动力和专业知识中获益、并将更多权力集中在自己手中的一种方式。他指出了一个模式：AI 公司公开地发布模型，观察社区如何使用和修改它们，然后将这些改进整合到自己的产品中——而不给那些创新者任何署名或补偿。马克·扎克伯格本人曾说过，将社区改进整合到 Meta 的技术栈中的能力，是发布开放模型的一个关键好处。

“我认为开源的理念非常崇高，它带来了很多价值，”Azunre 说。“但在实践中实际实施的方式，往往是一种非常榨取性的做法。”

开放模型比封闭模型风险更大吗？

过去几个月已经清楚地表明，安全对封闭模型来说仍然是一个棘手的问题。7 月 OpenAI 的智能体对 Hugging Face 执行了自主黑客攻击，但人类的滥用也是一个真实威胁：根据 Anthropic 最近的一份风险报告，在 Claude 的协助下已经进行了若干大规模黑客行动。 

所以封闭模型已经足够有风险了——而开放模型很可能更容易被利用。在 Anthropic 将用户的查询传递给其某个封闭模型之前，它会使用自动化系统检测该查询是否与黑客攻击、生物武器或其他风险有关。当它检测到用户已经绕过了这些过滤器时，它可以关闭他们的账户。但当有人下载模型并在自己的硬件上运行时，没有过滤器检查他们的提示是否安全，也没有办法撤销他们对模型的访问权限。

还有其他重要的防线。AI 公司训练其模型拒绝有害请求——所以即使一个不良提示通过了 Claude 的过滤器，模型仍然很有可能拒绝。原则上，同样的防御对开放模型也有效，因为它是模型本身固有的。不幸的是，研究人员已经表明，重新训练一个“安全”的开放模型，让它同意从事之前被训练避免的行为，竟然出奇地容易。

由于这些事实，一些人认为开放模型太危险，根本不应发布。例如，一个能力足够强、能指导某人合成一种致命新病原体的开放模型，如果落入坏人手中，可能会造成灾难性后果。 

但将开放模型视为危险、封闭模型视为安全，是过于简单化的看法。AI 公司围绕其封闭模型构建的防御远非完美，人们一直在滥用这些模型，正如 Anthropic 的风险报告所表明的那样。尽管开放模型对滥用的防御更少，但恶意行为者仍可能选择使用封闭模型，因为它们比具有类似能力的开放模型更容易获取，后者需要大量昂贵的计算机芯片才能在本地运行（如果你想重新训练它们，还需要更多芯片）。

事实上，一些接受《麻省理工科技评论》采访的专家以开源软件作类比，认为开放模型在安全性上比封闭模型更有优势。像 Linux 操作系统这样的开源工具，通常被认为比闭源同类产品更安全，因为它们的漏洞已被庞大的在线贡献者社区探查并修补。同样，研究社区也能更容易地测试开放模型的安全缺陷，尽管修复这些缺陷比改写一行代码要棘手得多。

开放模型在网络防御方面也可以比封闭模型部署得更广泛。任何可用于黑客攻击的工具，也可用于防止攻击：防御者会入侵自己的软件，以发现需要修补的漏洞。Anthropic 通过其 Project Glasswing 计划展示了这在封闭模型上如何运作，该计划允许一些受信任的公司使用其能力最强的模型进行网络防御。但许多其他公司只能自求多福。

然而，开放模型可以被更广泛地使用。在被 OpenAI 的智能体攻击后，Hugging Face 强调了一个事实：它不得不依赖一个开放模型来分析这次攻击，因为有关这次攻击的问题触发了封闭模型的安全过滤器。

尽管如此，许多专家仍然认为开放模型比封闭模型风险更高。当面对像当今——以及未来——模型这样强大的工具时，久经考验的开源安全逻辑未必站得住脚。“复杂之处在于，当你开始认真对待那些特别灾难性事件的一次性案例时——这些事件概率可能较低，但一旦发生就会是灾难性的，”Seger 说。例如，如果一个极其强大的开放黑客模型今天被投放到世界上，恶意行为者可能在任何人有机会加固防御之前就摧毁我们的技术基础设施。这样的事件可能无法恢复。

当你考虑模型可能自行采取的行动时，风险看起来会更加惊人。OpenAI 与 Hugging Face 的黑客事件之所以发生，只是因为该公司的模型在测试时许多网络安全护栏被移除，而开放模型一开始就几乎没有护栏。如果开放模型真的决定行为不端，可能很难察觉正在发生什么，因为它们如此去中心化。出于这个原因，认真对待所谓失控智能体灾难性风险的人，如 Dario Amodei，往往对开放模型更加怀疑。

我们能让开放模型更安全——也更开放吗？

几年前，关于开放模型的辩论还是全有或全无的框架：要么你因为开放模型有对抗权力集中的潜力而支持它们，要么你因为安全风险而拒绝它们。然而如今，人们正在花费大量精力寻找某种中间地带。他们这样做的一种方式是设计技术来减轻开放模型的安全风险。

用于闭源模型的大部分安全工具（如过滤器和监控）并不适用于开源模型，但还有其他可能性。一些研究人员有兴趣尝试训练那些从未接触过教导其不良或不受欢迎行为的训练数据的模型——例如，一个从未学习过黑客技术的开源模型。但要在不损害模型性能的情况下清除训练数据集中所有不当行为的引用，仍然是一个挑战。

其他研究人员正在努力构建能够抵抗再训练的模型，这样开源模型的安全训练就不会那么容易被移除。这些“防篡改”模型背后的理论很有道理：如果你反复尝试将模型再训练为不安全的，并强化模型对这种再训练表现出的任何抵抗，最终你会得到一个能够抵御未来再训练尝试的模型。然而，根据一篇近期预印本论文，在实践中，目前没有任何使模型防篡改的方法能够抵御所有篡改攻击。

但AI医学影像公司Deep Breathe的工程师、该论文的第一作者Saad Hossain希望未来的技术会被证明更有效。“我持乐观态度的原因是，这是一个非常活跃的研究领域，很多人正在尝试提出新的更好的方法，”他说。

如果说开源模型的风险不像乍看之下那样非黑即白，那么其好处也是如此。公布模型的内部结构或权重可能不足以打破AI介导的权力集中。“我认为开源在去中心化权力方面有非常切实的好处，但这些好处本身并不充分，”Hobbs说。开放权重是开源模型的最低标准：如果研究人员能够获取有关模型训练的详细信息，包括训练所用的数据，他们就能对模型的工作原理了解得多得多，但AI公司通常不愿透露这些信息。 

可及性对开源模型也很重要。没有能够运行复杂模型的计算机芯片，即使你拥有模型权重，你也无法真正使用它们。随着AI公司抢购越来越多的芯片，这些芯片的价格已经变得令人望而却步。“开放是我们为确保技术未来惠及所有人所需做之事的下限，而非上限，”Widder说。

真正的开放——不仅是开放权重，还包括开放训练数据和可获取的硬件——当然也可能带来更多风险。如果每个人都能获得先进的AI硬件和在其上运行的先进模型，那么任何人都可能成为黑客。但有策略可以缓解这些风险。许多专家主张某种形式的分阶段发布，即模型在诞生之初是闭源的，随着其安全性得到保证，逐渐变得越来越可以自由获取。 

要弄清楚如何具体实施这些策略，需要在开源模型的风险与好处之间取得谨慎的平衡。但如果开源模型是积极AI未来的必要元素，正如一些专家所认为的那样，那么这种努力将是值得的。