跳到正文
Hacker News· DeepLogin·· 5 天前AI 评分22

对 OpenAI 和 Anthropic 说不:为何应转向 GLM-5.3 等开源权重模型

Just say no to OpenAI and Anthropic

AI 导读

一名软件与安全工程师主张放弃 OpenAI 和 Anthropic 的闭源模型,改用 GLM-5.3、DeepSeek、Qwen、Kimi 等开源权重模型。他认为开源权重模型目前仅落后约四个月,GLM-5.3 在软件工程上基本与 Claude Opus 5.5 相当,更小的 GLM-5.3-Flash 则接近 Claude Opus 4.8。

正文 · AI 翻译

我最近读了Naomi Klein和Astra Taylor合著的End Times Fascism and the Fight for the Living World。这是一本极好的书,我强烈推荐每个人都读一读。科技寡头是末日法西斯联盟的重要组成部分。作为一名软件与安全工程师,我认为LLM极其强大,但有一件事让我印象深刻:美国的尖端实验室由一群疯狂的疯子运营,他们真心相信自己正在创造机器之神,他们愿意烧毁世界来实现AGI,并且他们带着宗教般的狂热相信只有自己才足够聪明,能够安全地控制它。我原本就多少知道这一点,但这本书让我真正深刻体会到了。

尽管我们周围充斥着AI炒作,假装OpenAI和Anthropic是独一无二、与众不同的,但它们并不是。它们不是唯一在做这项工作的公司。事实上,许多开放权重模型几乎和最新的ChatGPT和Claude模型一样好,包括在漏洞研究这类极其复杂的任务上也是如此。

与OpenAI和Anthropic的模型不同,开放权重模型具有重大优势:

  • 可以在自己的硬件上私密运行它们(前提是你能设法搞到一台内存足够大的计算机)
  • 你可以使用像Tinfoil这样依赖安全飞地的提供商来私密运行它们(我在下面会更详细地谈到这一点)
  • 如果隐私不是大问题,你可以使用任意数量的其他提供商,其中一些相当实惠,而且切换很容易,所以你不会被锁定在单一邪恶供应商上
  • 你仍然可以使用强大的LLM,而无需在经济上支持那些拿地球生命赌博、只为永远掌权的疯狂寡头

ChatGPT和Claude永远不会私密

这些公司只提供其强大模型的封闭版本(尽管“OpenAI”里有“open”这个词)。你付费获得聊天和/或API访问权限,而他们被允许查看你所做的一切。

他们提供了一个复选框,让你可以选择不让他们用你的数据训练,但你的聊天会话仍然不是私密的。他们可以访问全部内容。他们可以查看、与政府或公司共享,或者为所欲为。如果你选择退出,他们有可能——甚至很可能——不会将其用于训练,至少现在不会。但你真的能长期信任这一点吗?他们做过什么让人相信他们尊重人们数据的事吗?

OpenAI和Anthropic是企业守门人

它们的模型有严格的护栏,任何尝试用它们做任何网络安全相关事情的人肯定都注意到了。

每个会话都有一个警察代理在你肩后读你的记录,确保你没有用它进行黑客活动。如果它认为你可能在这么做,警察代理就会阻止你的会话继续。这非常严格,误报时有发生。当然,并不是每个人都被警察盯着。

有些人可以获得限制更宽松或完全没有限制的模型访问权限。OpenAI有Trusted Access for Cyber,Anthropic有Cyber Verification Program。要获得其模型更强大、受管制更少的版本,个人和公司需要申请并由OpenAI和Anthropic批准。许多美国网络安全公司获得了访问权限。几乎可以肯定美国军事承包商也有,可能美国政府中任何想要的部分也有。

虽然限制强大的模型有一定道理,但把决定谁可以使用这些模型的最终权力交给 Sam Altman 和 Dario Amodei——当然,还要咨询特朗普政府——是一个糟糕的、不民主的想法。

我认为更好的做法是,干脆不要让自己陷入依赖 ChatGPT 或 Claude 的境地。与其向企业霸主乞求特权访问,不如花时间研究如何让 GLM-5.3 这样的模型满足你的需求。而且这并不难。这些模型很好,还有一个额外的好处:没有警察在你背后盯着你!

开放权重模型令人印象深刻

到目前为止,开放权重模型似乎比 OpenAI 和 Anthropic 那些花哨的专有模型落后大约四个月。

四个月算不了什么。

我现在对 GLM-5.3 印象极其深刻。网上有大量数据和基准测试,但基于我使用它的直觉感受,它在软件工程方面基本上与 Claude Opus 5.5 相当。

GLM-5.3-Flash 也让我印象深刻。它类似于 Claude Opus 4.8。它比 GLM-5.3 小得多、便宜得多,但能力依然惊人。而且个人实际上也有可能获得运行它的硬件,比如有一天你能弄到一台配备 512GB 内存的 Mac Studio。

GLM 模型由一家名为 Z.ai 的中国公司制造。虽然这些模型令人印象深刻,但我不建议直接在 Z.ai 注册账户或向他们发送任何你的数据。他们的编码工具 ZCode(相当于他们的 Claude Code)最近被发现未经同意就悄悄上传本地源代码仓库并发送回阿里云。另外,可以合理假设中国公司会把你提供给他们的任何数据分享给中国政府。

其他来自中国公司、令人印象深刻的开放权重模型包括 DeepSeek、Qwen 和 Kimi 系列模型。使用这些开放权重模型完全没问题、安全且可靠。只是不要信任这些公司本身,别把你的聊天记录交给他们。

另一个值得关注的前沿 AI 实验室是 Mistral。作为一家法国公司,它是唯一一家既非中国也非美国的大型参与者。他们刚刚发布了一个名为 Mistral Large 4 的开放权重前沿模型,又名 Le Chonk。我认为,与中国或美国公司相比,把数据托付给 Mistral 要合理得多。

使用 Tinfoil 或 Maple AI 进行私密推理

即使不自己在本地托管,也可以利用安全飞地实现私密 AI。这些方案并不完美,但我确实认为,与现状模式(即“提供商可以不受限制地访问一切”)相比,它们在隐私方面带来了非常有意义的差别。

在这方面做得最多的公司是 Tinfoil。如果你想了解细节,请阅读他们关于安全飞地和远程认证的文档。另一家做这件事的公司是 Maple AI——不过严格来说,Maple 在后台使用 Tinfoil 进行推理。

Tinfoil 和 Maple 都是不错的选择。Tinfoil 更便宜,但 Maple 更面向消费者。

如果你想要类似 ChatGPT 的体验,可以跟聊天机器人对话、让它帮你在网上查资料、让它读取文档或处理文档、在移动应用中使用它等等,那么我会选择 Maple。它有一个小型免费计划,以及每月 20 美元的 Pro 计划。

如果你想做真正的 agentic coding 任务,比如软件工程、逆向工程、恶意软件分析、CTF 或渗透测试等,那么你应该改用 Tinfoil。他们按 token 收费提供私密推理,所以没有包月套餐。GLM-5.3 目前的价格是每 100 万输入 token 1.80 美元、每 100 万缓存 token 0.80 美元、每 100 万输出 token 5.75 美元。如果你选择“低”推理级别,可以显著减少 token 用量,而且效果依然非常出色。

没有隐私的推理

如果你不想为 Tinfoil 或 Maple 的私密推理支付溢价,但又想摆脱 OpenAI 和 Anthropic,那么有大量隐私性较低但也非常便宜的选项。

我一直在玩的一个是 OpenCode Go。它每月收费 10 美元,可获得价值超过 10 美元的额度。这是一个推理路由器,基本上意味着你的 API 查询会像这样进行:你的电脑 -> OpenCode Go API -> 实际的推理提供商。这意味着 OpenCode Go 以及他们使用的任何后端提供商都能访问你的会话数据。话虽如此,他们文档中的隐私部分承诺了哪些模型的数据不会被用于训练(大多数模型),以及数据保留期限是多久(大多数为零天,包括所有 GLM、Qwen、Kimi 和 DeepSeek 模型)。当然,这只是一个承诺。没有任何技术手段保证这一点。

如果你只是想试验强大的开放权重模型,市面上还有很多其他便宜的非私密推理选项。

我如何使用这些模型

我一直在使用 Tinfoil 和 OpenCode Go,并配置了我目前选择的工具 OpenCode。我主要使用低推理级别的 GLM-5.3,效果很好。(开放权重模型变化太快了,谁知道六个月后什么会是最好的。)

我将 OpenCode Go 推理用于完全公开的工作,比如当我实现某个已经开源的东西时。

其他所有事情我都用 Tinfoil。

我才刚开始这样工作,但到目前为止,我认为开放权重模型可以轻松完全取代我对 ChatGPT 和 Claude 的使用,价格相当或更便宜,还有一个额外好处:它们隐私性强得多,护栏也少得多。

来源:Hacker News · micahflee.com